В этой статье мы расскажем о наших подходах к архивированию внешних ресурсов – веб-страниц, изображений и других файлов, ссылки на которые могут размещаться на сайтах Проекта.

Мы также дадим здесь некоторые рекомендации для наших авторов в части использования интернет-архивов и внешних хранилищ при размещении материалов на наших сайтах. Эти рекомендации не являются строго обязательными, но мы хотели бы, чтобы наши авторы придерживались их в целях обеспечения целостности размещённых материалов и их доступности нашим пользователям в будущем.

Итак, начнём с того, почему мы вообще подняли этот вопрос и…

Когда и зачем нужно архивирование внешних данных

В силу ограничений, налагаемых на сайты Проекта текущим статусом хостинга, мы считаем необязательным хранение всех размещаемых на наших сайтах материалов только на серверах Проекта. Размещение "внешнего" контента может быть связано и с удобством доступа (загрузки) отдельных объёмных материалов нашими пользователями.

Мы считаем, что авторы публикуемых у нас материалов вправе размещать нетекстовую часть этих материалов на любых общедоступных (но обязательно – надёжных!) сервисах хранения. Также мы положительно относимся к созданию "зеркал" авторских файловых материалов в различных облачных сервисах, что обеспечивает дополнительную надёжность их хранения и удобство доступа к ним наших пользователей.

При этом наиболее важным с точки зрения информационного контента наших сайтов мы считаем…

Сохранность и доступность текстового контента

При использовании в размещаемых материалах значительных фрагментов (цитат или перепечаток) документов и статей, находящихся на сторонних источниках, авторам рекомендуется указывать не только ссылки на источники этих материалов, но также и ссылки на архивные копии цитируемых внешних веб-страниц.

Мы рекомендуем делать это исключительно исходя из того, что в Интернете достаточно часто встречаются случаи удаления или последующего изменения содержимого материалов и даже закрытия отдельных сайтов-источников. При этом, понятно, ваша ссылка на источник ("пруф") станет "битой" и читатели вашего материала не смогут ознакомиться с полной версией исходного текста внешнего документа.

Мы не ограничиваем авторов в выборе конкретного веб-архива, главное условие – чтобы выбранный вами архив был гарантированно доступен любому пользователю и был бы достаточно стабильным в работе (вы наверняка сталкивались с ситуациями "ёпрст, да вот только вчера оно ещё работало").

Мы также не ограничиваем авторов в способе создания такого архива, кроме сохранения полного текста веб-страницы (или её содержательной части) можно сохранять и "картинку" – например, скриншот всей веб-страницы, размещённый на любом общедоступном ресурсе, имеющем "вечный" срок хранения (вплоть до вашего личного веб-хранилища на таких сервисах как Яндекс.Диск, Google Drive и аналогичных).

Тем не менее, следует помнить, что "официально поддерживаемым" на наших сайтах является…

Wayback Machine : общедоступный свободный интернет-архив

Wayback Machine – крупнейший интернет-архив, используемый для хранения полных копий любых внешних веб-страниц. Многолетняя стабильность работы и достаточно удобный и простой интерфейс гарантируют любому пользователю комфорт работы с архивом. Все страницы этого архива доступны по протоколам http или https и корректно работают независимо от операционной системы или применяемого пользователем браузера.

Исходя из сказанного, мы рекомендуем использовать в ваших материалах ссылки на архивные копии веб-страниц, размещённые именно на этом сервисе.

Для работы с этим веб-архивом мы также применяем на страницах сайтов Проекта дополнительные "нестандартные" возможности, одной из которых является поиск последней архивной версии страниц по внешним ссылкам в веб-архиве Wayback Machine:
ALT + CTRL + щелчок ПКМ на любой ссылке на сторонний веб-ресурс
Поиск самой свежей страницы по ссылке открывается в новом окне (вкладке).

Если вы не можете найти готовую ссылку на страницу веб-архива сервиса Wayback Machine (или если она просто не существует), вы можете самостоятельно создать такую архивную копию, используя ещё одну штатную функцию, работающую на всех наших сайтах:
ALT + щелчок ПКМ на любой ссылке на сторонний веб-ресурс
Автосохранение страницы по ссылке в веб-архиве открывается в новом окне (вкладке).

По окончании процесса сохранения в открывшейся вкладке произойдёт автоматический переход на страницу созданного "скриншота". После этого вы можете скопировать URL созданного "скриншота" для дальнейшего использования (например, для вставки в комментарий или в авторскую статью).

Если у вас есть учётная запись в этом сервисе И если вы залогинены на нём на момент создания скриншота, не забудьте нажать на этой странице кнопку разрешения общего доступа к скриншоту (см.рисунок). Это позволит избежать возможных проблем при сохранении ссылок в архиве (копия также сохраняется в вашем аккаунте веб-архива в разделе My web archive).

Вы также можете создавать архивные копии любых страниц в Wayback Machine, используя и другие способы, указанные в официальном руководстве сервиса.

Примечание: Учитывая автоматическую обработку ссылок основного контента, используемую на сайтах Проекта, обе вышеуказанные функции (поиск свежей копии и создание архивной копии) работают и для принудительно сокращённых ссылок, содержащих в подсказке конечный URL (как это сделать – читаем в статье по оформлению материалов). При этом обе функции не работают для автосокращённых ссылок вне авторского материала (например, в комментариях).

Важное примечание: При указании в вашем материале ссылки на страницу веб-архива Wayback Machine следует задавать её как относительную без указания протокола – ссылка на архив должна* начинаться с двойного слэша (например, вот так: "//web.archive.org/"). При этом на странице размещаемого материала к такой ссылке будут автоматически применены все соответствующие дополнительные функции (в частности, для неё будет автоматически задан протокол https независимо от текущего протокола сайта Проекта).

* Это связано с тем, что в ссылке могут присутствовать символы (содержащиеся в исходном URL), которые могут быть автоматически преобразованы сервисом сокращения ссылок. При этом конечный "распрямлённый" URL, передаваемый в запросе к веб-архиву, не будет в точности соответствовать исходной архивной ссылке и такая страница может быть не найдена в архиве. Такой "казус", в частности, происходит с URL, содержащими символ "&" (преобразуется "сокращателем" в "&"), для поиска по веб-архиву такое различие уже имеет значение.

В любом случае – перед публикацией материала авторам настоятельно рекомендуется проверять работоспособность всех ссылок, содержащимся в нём, ссылки на страницы веб-архивов не составляют исключения.

Но не "вэйбэком" единым – как уже сказано, любой автор вправе использовать при размещении материалов…

Личные архивы в облачных хранилищах

Если вы, как автор материала, считаете целесообразным разместить архивную копию в своём личном аккаунте на любом из популярных облачных "дисков", вам следует помнить о единственном правиле – доступ к такому архиву должен быть абсолютно свободным и бесплатным, а также не должен быть сопряжён с необходимостью регистрации другого пользователя на выбранном вами сервисе хранения.

Кроме этого, вам придётся самостоятельно заботиться о доступности такого архива. Если же в каком-то случае вы измените место хранения размещённого архива, следует также обновить и соответствующие ссылки на него, которые вы указали в публикуемом материале.

При выборе облачного хранилища также следует учитывать его доступность для других пользователей. В частности – возможность свободного доступа к ресурсу вне зависимости от конкретного браузера или операционной системы, ваш материал будут читать совершенно разные люди, поэтому сразу позаботьтесь об удобстве их работы.

В отдельных случаях вы можете обратиться с личной просьбой к Администрации Проекта, чтобы вам предоставили дополнительное место для хранения вашего архива на серверах Проекта. Конкретные способы и методы такого размещения мы не оговариваем заранее, решение будет приниматься в каждом конкретном случае. Вполне возможно, что мы сделаем дубликат вашего архива на наших серверах, если ваш материал будет представлять значительную ценность для всех участников Проекта.

Теперь остановимся на достаточно важном, с точки зрения оформления материалов, моменте – это…

Хранение и размещение полноразмерных изображений и скриншотов

На текущий момент на сайтах Проекта нет возможности хранения значительного объёма данных, мы ограничиваем размеры размещаемых авторами изображений и предлагаем в случае необходимости использовать для этого внешние хостинги с возможностью долгосрочного хранения любых изображений.

Мы не указываем какие-либо конкретные "предпочтительные" хостинги изображений, наши авторы вправе выбирать их по своему усмотрению. Однако, при этом им следует также заботиться о лёгкости доступа пользователей (читателей материалов) к полноразмерным изображениям.

В частности – мы настоятельно не рекомендуем использовать для размещения хостинги, страницы которых "завалены" рекламой и прочим "мусором", а также "тормозные" хранилища, создающие проблемы для пользователей. Кроме того, мы настоятельно рекомендуем авторам указывать в материалах только прямые ссылки на конечные изображения.

В целях выбора хорошего хостинга изображений мы рекомендуем ознакомиться с обзорами возможностей различных сервисов хранения, доступными в соответствующих темах на форуме Ru-Board:

• Хостинги изображений (хостинги картинок, imagehostings)
• Хостинги для изображений

Для повышения удобства загрузки изображений вы можете использовать достаточно известный файловый загрузчик Image Uploader (см.также: обсуждение этой программы на форуме Ru-Board). Кроме того, вы можете использовать для долговременного хранения свои личные аккаунты на различных хостингах (это, как правило, даёт возможность снятия ограничений на сроки хранения изображений).

Для уменьшения размеров файлов изображений рекомендуется применять специальные программные средства компрессии изображений. Для этого можно использовать, например, бесплатную программу XnView с фильтром RIOT (см. также: обсуждение этой программы на форуме Ru-Board). Также можно воспользоваться бесплатным он-лайн сервисом TinyPNG, дающим на выходе неплохую степень сжатия изображений.

При размещении изображений и скриншотов следует заботиться и об их содержательности. Мы не приветствуем полный "принт-скрин" ради того, чтобы показать "одну малюсенькую кнопочку". При подготовке материала автору желательно сделать обрезку скриншота до необходимого размера и нанести на него (при необходимости) поясняющие надписи. Все эти действия можно выполнить как в указанной выше программе XnView (или в любом другом графическом редакторе), так и с помощью он-лайнового редактора Pixlr.

В завершение статьи хотелось бы сказать…

О форматах хранения данных

Мы не предъявляем каких-либо особых требований по части форматов размещаемых файлов. Тем не менее, исходя из принципов максимального удобства доступа пользователей к публикуемым материалам, мы рекомендуем использовать для размещения файлов следующие форматы:

• Установочные пакеты расширений – стандартный формат CRX, версии 2 и 3 (для обеспечения совместимости установки без необходимости перепаковки). Для создания таких файлов используется упаковщик браузера.
• Архивы и программные пакеты – любой формат с максимальной компрессией. Для создания архивов рекомендуется использовать бесплатный архиватор 7-ZIP (файлы *.7z), допустимо использование стандартного формата ZIP (компрессия при этом хуже). Настоятельно не рекомендуется размещать исполняемые файлы (*.exe и другие), любые программные пакеты следует размещать только в упакованном виде (как архив).
• Изображения и скриншоты – форматы со сжатием GIF/JPEG/PNG, степень сжатия – чем больше, тем лучше, но при этом обязательно следует учитывать и качество "картинки", не перестарайтесь.)

При необходимости установки ограничений на доступ к размещаемым материалам авторы могут использовать парольную защиту. При этом следует сообщить пароль доступа пользователям, например, указав его под спойлером в комментариях к вашему материалу. Также допустимо применять общий "стандартный" пароль, используемый* по умолчанию на всех сайтах Проекта – "goodcrx" (без кавычек).

* Этот пароль не является мерой защиты от доступа людей к размещаемым файлам, но он позволяет обойти различные онлайновые "проверялки" (в том числе – антивирусные средства) и ускорить загрузку файлов конечными пользователями.

Следует помнить, что устанавливая на размещаемые файлы какую-либо парольную защиту, автор берёт на себя определённую долю ответственности за "чистоту" такого контента и лично гарантирует нашим пользователям отсутствие в таких файлах любого вредоносного содержимого.

Эта статья открыта для обсуждения, в комментариях вы можете предлагать любые известные вам инструменты и методы архивации и хранения внешнего контента, которые могут быть использованы при публикации материалов на нашем Проекте. Ваши конструктивные предложения будут обдуманы и, возможно, реализованы в виде дополнительных функций сайтов Проекта.

Настоящий документ отражает официальную точку зрения Администрации Проекта.

Отдельные положения настоящего документа могут быть изменены Администрацией Проекта в соответствии с конкретной текущей ситуацией.