Проверка сайта на битые ссылки


Бывают ситуации, когда хочется процитировать статью с какого-либо сайта, либо просто вставить картинку с него. Вы ставите на него обратную ссылку, а через некоторое время (недели, месяцы) он внезапно становится недоступен. Либо сайт сам в порядке, но ссылка ведет не туда. Иными словами, сервер отвечает ошибкой 404. Вот это и есть битая ссылка — которая никуда не ведет.

Случается это по разным причинам, например, автор сайта изменил формат ссылок или вообще удалил запрашиваемую страницу.

Нерабочие ссылки, остающиеся на вашем сайте, негативно влияют на него как с точки зрения SEO, так и со стороны посетителя. Страницы начинают медленней загружаться, а поисковые системы сразу берут на заметку, что сайт ваш, видимо, давно заброшен, раз вы допустили битые ссылки. Стало быть, позиции вашего проекта снижаются.

Убрать обнаруженные битые ссылки — минутное дело, но прежде нужно отыскать их на огромном ресурсе. Если страниц 10, это довольно легко, но что если их не меньше тысячи?

На помощь приходят сервисы, проверка сайта на битые ссылки с помощью которых происходит автоматически. Рассмотрим парочку из них подробнее.

Плагин Broken Link Checker для WordPress

Если ваш сайт на WordPress, то данный плагин — отличное решение. Устанавливается стандартно — через админку WordPress, раздел «Плагины» — «Добавить новый». После установки автоматически выполняется проверка сайта на битые ссылки в статьях и статических страницах. Буквально через минуту может выдать список битых ссылок, да еще снабдив результаты возможностью быстро перейти к редактированию ссылки, без загрузки полных страниц.

В админке в разделе «Параметры» — «Проверка ссылок» содержатся настройки плагина Broken Link Checker. Когда я его устанавливал, он был еще не полностью переведен на русский. Возможно, перевод уже дополнили к моменту, когда вы читаете эти строки.

На вкладке «General» можно задать периодичность проверок, допустим 72 часа. Впрочем, рекомендую просто проверить и отключить плагин — при необходимости всегда можно активировать, а пока что есть смысл поберечь ресурсы сервера. Далеко не каждый день появляются битые ссылки. Также на этой вкладке можно указать электронный адрес для отправки результатов проверки. Полезно, если плагин работает по расписанию. Если найдет битую ссылку, сразу уведомит вас.

На вкладке «Look for links in» отмечаете, где искать битые ссылки. Достаточно опубликованных статей, страниц и комментариев. Но если у вас нестандартный блог, тогда и галочки нужно поставить «нестандартные».

Вкладка «Which Links To Check» предлагает выбрать, какие ссылки проверять. К примеру, можно проверить видео с популярных видеохостингов. А вообще, достаточно первых двух пунктов — HTML Links и HTML Images — гиперссылки и картинки соответственно. Кроме того, здесь же задаются исключения из проверки. Например, ссылки, содержащие определенные слова.

Вкладка «Protocols & APIs» предлагает выбрать, какой протокол или API использовать для проверки битых ссылок. Если у вас текстовый блог с картинками, то можно оставить настройки по умолчанию. Если же используете на сайте коды сервисов, указанных на данной вкладке, то включите их.

Наконец, вкладка «Дополнительно» содержит опции, которые так или иначе, призваны защитить сервер от перегрузки. Можно установить максимальную загрузку сервера, предельное время поиска, ожидания загрузки и многое другое. Опыт подсказывает, что параметры по умолчанию — самые безопасные, хоть и не самые эффективные. Но проверка ссылок — не та сфера, где нужна скорость и эффективность.

Проверка сайта на битые ссылки с помощью KLinkStatus для KDE

Не все сайты являются блогами и уж точно далеко не все базируются на WordPress. К счастью, есть универсальное решение, подходящее абсолютно ко всем сайтам — программа KLinkStatus. Она как нельзя лучше подходит для KDE, т.к. написана на Qt.

Установка программы проводится стандартным способом:

В Kubuntu устанавливается командой:

sudo apt-get install klinkstatus

В репозитории Fedora 19 есть набор приложений для веб-разработки Web development applications, который содержит KLinkStatus.

Программа выполняет поиск внутренних и внешних ссылок, помечает битые и с редиректами.

Введите адрес сайта в поле «URL» и нажмите на кнопку «Начать поиск». Будет выполнен поиск с параметрами по умолчанию, т.е. без ограничений по глубине.

При желании можно ограничивать глубину проверки, настраивать исключения, отключать проверку внешних ссылок.

Есть возможность проверять сайты на битые ссылки регулярно, по расписанию, создав соответствующие задания через меню «Сервис» — «Расписание проверки ссылок».

В окне «Настройка автоматической проверки сайта» нажмите «Добавить…» и назовите как-нибудь новое задание. После нажатия на «Готово» откроется масса параметров, которые нужно задать для успешной проверки.

Прежде всего, это периодичность и время проверки. Также потребуется указать адрес сайта, глубину и прочие параметры, чтобы программа знала, что конкретно и в каком месте искать. Результаты можно складывать в специально отведенную папку, либо отсылать по почте — разумеется, это тоже нужно указать явно.

Когда будете готовы, нажмите «ОК — задание для автоматической проверки создано. Но зачем?.. Повторюсь еще раз, не так уж часто возникают эти битые ссылки, чтобы автоматизировать этот процесс и ставить его в качестве регулярного.

Настроек у KLinkStatus немного. К примеру, на вкладке «Проверить» можно указать количество одновременных подключений и задать время ожидания. А на вкладке «Идентификация» задается имя, под которым будет обращаться программа к серверу.

В общем-то, можно вообще не настраивать программу. Ну правда же…


Понравилась запись? Поделитесь :)
Социальные комментарии Cackle
Читайте также
Сайт для людей или поисковиков: что получается в итоге — часть 2
В предыдущей статье мы начали рассматривать проблему выбора — СДЛ или ГС
Самые популярные CMS для создания блога
Важнейшей составляющей любого интернет-сайта является его движок
K3b — мощная программа для записи оптических дисков в KDE
Ни для кого не секрет, что подавляющее большинство программ для записи дисков являются всего лишь оболочками для консольных решений
Безопасность сайта. Защита блога на WordPress
WordPress – в целом, хорошо защищенная система. Разработчики не устают закрывать найденные уязвимости. Однако, и сами блоггеры должны думать о безопасности своих проектов
Оптимизация темы WordPress
Не так давно писал о том, как установить WordPress и как создать на его основе автономный блог. Настало время рассказать вам об оптимизации установленного на блоге шаблона
Liferea — простая RSS-читалка для Gnome
Программы для чтения RSS-лент в последнее время теряют позиции в рейтингах популярности. Во многом это связано с развитием веб-сервисов отложенного чтения, например, Pocket
10 самых необходимых плагинов WordPress
Если у вас есть свой блог, то вы конечно знаете, что чистый WordPress, без плагинов, имеет крайне низкую функциональность, не обеспечивающую даже базовых потребностей
Внутренняя оптимизация сайта — часть 3: общие советы по оптимизации
Правильно заполненные мета-теги и грамотная перелинковка страниц — это еще далеко не все задачи, которые нужно выполнить для внутренней оптимизации сайта