Общие подходы и рекомендации по созданию архивов для внешних ресурсов. Рекомендации по выбору сервисов хранения данных и инструкции по их применению.
В этой статье мы расскажем о наших подходах к архивированию внешних ресурсов – веб‑страниц, изображений и других файлов, ссылки на которые могут размещаться на сайтах Проекта.
Мы также дадим здесь некоторые рекомендации для наших авторов в части использования интернет‑архивов и внешних хранилищ при размещении материалов на наших сайтах. Эти рекомендации не являются строго обязательными, но мы хотели бы, чтобы наши авторы придерживались их в целях обеспечения целостности размещённых материалов и их доступности нашим пользователям в будущем.
В этой статье:
Итак, начнём с того, почему мы вообще подняли этот вопрос и…
В силу ограничений, налагаемых на сайты Проекта бесплатным статусом хостинга, мы считаем необязательным хранение всех размещаемых на наших сайтах материалов только на серверах Проекта. Размещение "внешнего" контента может быть связано и с удобством доступа (загрузки) отдельных объёмных материалов нашими пользователями.
Мы считаем, что авторы публикуемых у нас материалов вправе размещать нетекстовую часть этих материалов на любых общедоступных (но обязательно – надёжных!) сервисах хранения. Также мы положительно относимся к созданию "зеркал" авторских файловых материалов в различных облачных сервисах, что обеспечивает дополнительную надёжность их хранения и удобство доступа к ним наших пользователей.
При этом наиболее важным с точки зрения информационного контента наших сайтов мы считаем…
При использовании в размещаемых материалах значительных фрагментов (цитат или перепечаток) документов и статей, находящихся на сторонних источниках, авторам рекомендуется указывать не только ссылки на источники этих материалов, но также и ссылки на архивные копии цитируемых внешних веб‑страниц.
Мы рекомендуем делать это исключительно исходя из того, что в Интернете достаточно часто встречаются случаи удаления или последующего изменения содержимого материалов и даже закрытия отдельных сайтов‑источников. При этом, понятно, ваша ссылка на источник ("пруф") станет "битой" и читатели вашего материала не смогут ознакомиться с полной версией исходного текста внешнего документа.
Мы не ограничиваем авторов в выборе конкретного веб‑архива, главное условие – чтобы выбранный вами архив был гарантированно доступен любому пользователю и был бы достаточно стабильным в работе (вы наверняка сталкивались с ситуациями "ёпрст, да вот только вчера оно ещё работало").
Мы также не ограничиваем авторов в способе создания такого архива, кроме сохранения полного текста веб‑страницы (или её содержательной части) можно сохранять и "картинку" – например, скриншот всей веб‑страницы, размещённый на любом общедоступном ресурсе, имеющем "вечный" срок хранения (вплоть до вашего личного веб‑хранилища на таких сервисах как Яндекс.Диск, Google Drive и аналогичных).
Тем не менее, следует помнить, что "официально поддерживаемым" на наших сайтах является…
Wayback Machine – крупнейший интернет‑архив, используемый для хранения полных копий любых внешних веб‑страниц. Многолетняя стабильность работы и достаточно удобный и простой интерфейс гарантируют любому пользователю комфорт работы с архивом. Все страницы этого архива доступны по протоколам http или https и корректно работают независимо от операционной системы или применяемого пользователем браузера.
Исходя из сказанного, мы рекомендуем использовать в ваших материалах ссылки на архивные копии веб‑страниц, размещённые именно на этом сервисе.
Для работы с этим веб‑архивом мы также применяем на страницах сайтов Проекта дополнительные "нестандартные" возможности, одной из которых является поиск последней архивной версии страниц по внешним ссылкам в веб‑архиве Wayback Machine: ALT + CTRL + щелчок ПКМ на любой ссылке на сторонний веб‑ресурс Поиск самой свежей страницы по ссылке открывается в новом окне (вкладке).
Если вы не можете найти готовую ссылку на страницу веб‑архива сервиса Wayback Machine (или если она просто не существует), вы можете самостоятельно создать такую архивную копию, используя ещё одну штатную функцию, работающую на всех наших сайтах: ALT + щелчок ПКМ на любой ссылке на сторонний веб‑ресурс Автосохранение страницы по ссылке в веб‑архиве открывается в новом окне (вкладке).
По окончании процесса сохранения в открывшейся вкладке произойдёт автоматический переход на страницу созданного "скриншота". После этого вы можете скопировать URL созданного "скриншота" для дальнейшего использования (например, для вставки в комментарий или в авторскую статью).
Если у вас есть учётная запись в этом сервисе И если вы залогинены на нём на момент создания скриншота, не забудьте нажать на этой странице кнопку разрешения общего доступа к скриншоту (см.рисунок). Это позволит избежать возможных проблем при сохранении ссылок в архиве (копия также сохраняется в вашем аккаунте веб‑архива в разделе My web archive).
Вы также можете создавать архивные копии любых страниц в Wayback Machine, используя и другие способы, указанные в официальном руководстве сервиса.
Учитывая автоматическую обработку ссылок основного контента, используемую на сайтах Проекта, обе вышеуказанные функции (поиск свежей копии и создание архивной копии) работают и для принудительно сокращённых ссылок, содержащих в подсказке конечный URL (как это сделать – читаем в статье по оформлению материалов). При этом обе функции не работают для автосокращённых ссылок вне авторского материала (например, в комментариях).
При указании в вашем материале ссылки на страницу веб‑архива Wayback Machine следует задавать её как относительную без указания протокола – ссылка на архив должна* начинаться с двойного слэша (например, вот так: "//web.archive.org/"). При этом на странице размещаемого материала к такой ссылке будут автоматически применены все соответствующие дополнительные функции (в частности, для неё будет автоматически задан протокол https независимо от текущего протокола сайта Проекта).
* Это связано с тем, что в ссылке могут присутствовать символы (содержащиеся в исходном URL), которые могут быть автоматически преобразованы сервисом сокращения ссылок. При этом "распрямлённый" URL (конечный), передаваемый в запросе к веб‑архиву, не будет в точности соответствовать исходной архивной ссылке и такая страница может быть не найдена в архиве. Такой "казус", в частности, происходит с URL, содержащими символ "&" (преобразуется "сокращателем" в "&"), для поиска по веб‑архиву такое различие уже имеет значение.
В любом случае – перед публикацией материала авторам настоятельно рекомендуется проверять работоспособность всех ссылок, содержащимся в нём, ссылки на страницы веб‑архивов не составляют исключения.
Но не "вэйбэком" единым – как уже сказано, любой наш автор вправе использовать при размещении материалов…
В целях "локализации" хранения и лучшей управляемости данных, в феврале 2025 года создан дополнительный архив для авторских приложений на Сбер.Диске. В этом архиве авторы и участники нашего Проекта могут размещать официальные версии своих расширений, браузерные сборки и другие работы, связанные с общей тематикой Проекта.
Указанный единый архив (отдельный аккаунт в облаке) создан в целях дальнейшего развития Проекта и направлен на облегчение доступа наших пользователей к авторскому контенту – не секрет, что нынешние облачные сервисы становятся со временем всё "тяжелее" с точки зрения "попутной" рекламы и нововведений в части "украшательств" интерфейса.
Выбранный сервис имеет лёгкий, простой и достаточно удобный интерфейс, размещается в российской юрисдикции и управляется одной из крупнейших российских компаний, что даёт определённую гарантию качества обслуживания и доступности контента, независимость от различных "выкрутасов наших уважаемых партнёров".)
Другими "плюсами", повлиявшими на выбор площадки для хранения, стало отсутствие рекламы и "упорного навязывания" платных подписок (на момент тестирования), а также вполне достаточный (под наши скромные объёмы) базовый размер бесплатного "облака" (от 15 ГБ "неснижаемых и вечных", до 10 ГБ на единичный файл).
Управление доступом и размещение отдельных авторских приложений, а также обновление содержимого этого облачного хранилища производится только администраторами Проекта по личным заявкам авторов, по мере необходимости. Такая "централизация" связана с повышенной ответственностью за качество контента и с обеспечением безопасности общих ресурсов нашего Проекта.
Перед внедрением сервиса "в работу" Администрацией Проекта проведена предварительная проверка качества и уровня возможностей сервиса, результат тестовой обкатки структуры нового хранилища признан удовлетворительным.
Добавление "общего диска" направлено на повышение удобства размещения архивных материалов нашими авторами, сервис подключен в рамках официальной политики поддержки сохранности и распространения авторского контента.
При этом авторы никак не ограничиваются в размещении своих работ в персональных облачных хранилищах и/или на штатных ресурсах отдельных авторских сайтов. Общий архив служит ещё одной площадкой ("зеркалом") для размещения авторских приложений, а также для создания единой упорядоченной системы хранения в рамках всех сайтов Проекта (по аналогии с уже имеющимися ресурсами на DepositFiles, только без ограничений по срокам хранения).
Решение о дополнительной загрузке своих приложений (аддонов, сборок и т.д.) в общий архив будет приниматься каждым автором самостоятельно, зеркалирование в общем хранилище не является обязательным и направлено только на обеспечение более комфортного доступа пользователей к нашим продуктам.
Кроме того, авторы вправе самостоятельно дополнять или изменять авторскую документацию (например, указать ссылки на дополнительные архивы в описаниях загрузок). Для удобства работы с общим хранилищем на всех сайтах доработаны шаблоны форм загрузки и шаблоны вывода дополнительных архивных ссылок на страницах авторских материалов.
Ну и, конечно же, кроме "колхозного" файлохранилища, все участники Проекта могут использовать любые…
Если вы, как автор материала, считаете целесообразным разместить архивную копию в своём личном аккаунте на любом из популярных облачных "дисков", вам следует помнить о единственном правиле – доступ к такому архиву должен быть абсолютно свободным и бесплатным, а также не должен быть сопряжён с необходимостью регистрации другого пользователя на выбранном вами сервисе хранения.
Кроме этого, вам придётся самостоятельно заботиться о доступности такого архива. Если же в каком‑то случае вы измените место хранения размещённого архива, следует также обновить и соответствующие ссылки на него, которые вы указали в публикуемом материале.
При выборе облачного хранилища также следует учитывать его доступность для других пользователей. В частности – возможность свободного доступа к ресурсу вне зависимости от конкретного браузера или операционной системы, ваш материал будут читать совершенно разные люди, поэтому сразу позаботьтесь об удобстве их работы.
В отдельных случаях вы можете обратиться с личной просьбой к Администрации Проекта, чтобы вам было предоставлено дополнительное место для хранения вашего архива на серверах Проекта. Конкретные способы и методы такого "частного" размещения мы не оговариваем заранее, решение будет приниматься в каждом конкретном случае. Вполне возможно, что мы сделаем дубликат вашего архива на наших серверах, если ваш материал будет представлять значительную ценность для всех участников Проекта.
Теперь остановимся на достаточно важном, с точки зрения оформления материалов, моменте – это…
На текущий момент на сайтах Проекта нет возможности хранения значительного объёма данных, мы ограничиваем размеры размещаемых авторами изображений и предлагаем в случае необходимости использовать для этого внешние хостинги с возможностью долгосрочного хранения любых изображений.
Мы не указываем какие‑либо конкретные "предпочтительные" хостинги изображений, наши авторы вправе выбирать их по своему усмотрению. Однако, при этом им следует также заботиться о лёгкости доступа пользователей (читателей материалов) к полноразмерным изображениям.
В частности – мы настоятельно не рекомендуем использовать для размещения хостинги, страницы которых "завалены" рекламой и прочим "мусором", а также "тормозные" хранилища, создающие проблемы для пользователей. Кроме того, мы настоятельно рекомендуем авторам указывать в материалах только прямые ссылки на конечные изображения.
В целях выбора хорошего хостинга изображений мы рекомендуем ознакомиться с обзорами возможностей различных сервисов хранения, доступными в соответствующих темах на форуме Ru‑Board:
Для повышения удобства загрузки изображений вы можете использовать достаточно известный файловый загрузчик Image Uploader (см.также: обсуждение этой программы на форуме Ru‑Board). Кроме того, вы можете использовать для долговременного хранения свои личные аккаунты на различных хостингах (это, как правило, даёт возможность снятия ограничений на сроки хранения изображений).
Для уменьшения размеров файлов изображений рекомендуется применять специальные программные средства компрессии изображений. Для этого можно использовать, например, бесплатную программу XnView с фильтром RIOT (см. также: обсуждение этой программы на форуме Ru‑Board). Также можно воспользоваться бесплатным онлайн сервисом TinyPNG, дающим на выходе неплохую степень сжатия изображений.
При размещении изображений и скриншотов следует заботиться и об их содержательности. Мы не приветствуем полный "принт‑скрин" ради того, чтобы показать "одну малюсенькую кнопочку". При подготовке материала автору желательно сделать обрезку скриншота до необходимого размера и нанести на него (при необходимости) поясняющие надписи. Все эти действия можно выполнить как в указанной выше программе XnView (или в любом другом графическом редакторе), так и с помощью онлайнового редактора Pixlr.
В завершение статьи хотелось бы сказать…
Мы не предъявляем каких‑либо особых требований по части форматов размещаемых файлов. Тем не менее, исходя из принципов максимального удобства доступа пользователей к публикуемым материалам, мы рекомендуем использовать для размещения файлов следующие форматы:
При необходимости установки ограничений на доступ к размещаемым материалам авторы могут использовать парольную защиту. При этом следует сообщить пароль доступа пользователям, например, указав его под спойлером в комментариях к вашему материалу. Также допустимо применять общий "стандартный" пароль, используемый* по умолчанию на всех сайтах Проекта – "goodcrx" (без кавычек).
* Этот пароль не является мерой защиты от доступа людей к размещаемым файлам, но он позволяет обойти различные онлайновые "проверялки" (в том числе – антивирусные средства) и ускорить загрузку файлов конечными пользователями.
Соответственно, мы не ограничиваем "фантазии" авторов на тему паролей, более того – мы считаем вполне допустимым, если автор установит на какой‑то свой архив простейший код (типа "123" или "qwerty")). Главное, как уже сказано, чтобы этот пароль был доступен читателям наших материалов.
Следует помнить, что устанавливая на размещаемые файлы какую‑либо парольную защиту, автор берёт на себя определённую долю ответственности за "чистоту" такого контента и лично гарантирует нашим пользователям отсутствие в таких файлах любого вредоносного содержимого.
Эта статья открыта для обсуждения, в комментариях вы можете предлагать любые известные вам инструменты и методы архивации и хранения внешнего контента, которые могут быть использованы при публикации материалов на нашем Проекте. Конструктивные предложения будут обдуманы и, возможно, реализованы в виде дополнительных функций наших сайтов.
Настоящий документ отражает официальную точку зрения Администрации Проекта.
Отдельные положения настоящего документа могут быть изменены Администрацией Проекта в соответствии с текущей ситуацией.
