Сканирование изменений на странице браузера. Что в этом списке? Что именно мониторить

Если рассмотреть причины, по которым сайты резко начинают терять трафик, то их можно разделить на 3 основные группы: алгоритмические, внутренние и внешние. К первым относится изменение алгоритмов поисковых систем, на которые мы не можем повлиять. На все остальные причины мы осознанно или неосознанно влияем. И если с осознанным влиянием все более-менее понятно, тут все зависит от степени осведомленности и здравомыслия оптимизатора, то серьезной проблемой является незнание, что там происходит с сайтом.

Один из примеров: мой заброшенный сайт взломали и разместили вредоносный код, позже подтвердили права на домен в панелях для вебмастеров и загнали в индекс кучу спамных страниц. Узнал я об этом только из уведомления панели, когда Google прислал сообщение “вы предоставили доступ к сайту…”. Понятное дело, что трафик из поиска на сайт пропал из-за снижения доверия. Если бы я мог быстро отследить изменения в коде страниц, то среагировал бы оперативней. В моем случае сайт был заброшен, но у многих живых сайтов происходят аналогичные ситуации со взломом и бизнес может терпеть большой ущерб.

Есть много других примеров, когда над сайтом работает команда и один человек из команды не всегда знает, что делает второй. И еще интересней, когда все изменения в коде затираются после обновления CMS . Так было с моими знакомыми, которые больше года не могли выпустить новую версию сайта, так как закрытые таски переоткрывались после очередных обновлений и правок (делали одно, другое ломалось и наоборот). И здесь хорошо, когда в тестовом режиме можно все это узнать, но что делать, когда вы уже выкатили проект в паблик и через неделю автоматом в целях безопасности обновили CMS или какой-то плагин?

Ответ очевиден - необходимо мониторить изменения на сайте. Особенно это актуально для больших проектов, и особенно там, где над проектами работает несколько человек. Хотя, я рекомендую всем это делать. Хотя бы изредка, чтобы застраховать себя от разных несчастных случаев. С помощью мониторинга вы сможете вовремя отреагировать на ненужные (или слетевшие) изменения на сайте, плюс сможете лучше понимать причины резких изменений позиций сайта или его отдельных страниц.

Что именно мониторить?

В идеале нужно мониторить всё 🙂 но возникает много нюансов для сайтов с динамическим контентом, поэтому лучше сконцентрировать внимание на важных участках:

• Тег TITLE и H1
• Мета-тег description
• Выделенные участки контента
• HTTP код статуса
• Файл robots.txt

Полезно будет также отслеживать мета-тег robots и канонические ссылки (rel canonical).

Можно ли это автоматизировать и как?

Постоянно отслеживать изменения вручную это неблагодарное занятие. Мониторинг необходимо автоматизировать, и смотреть в отчеты лишь тогда, когда один из отслеживаемых параметров изменяется.

Для автоматизации этого процесса имеется несколько инструментов. Один из них свежий, от компании Mail.ru - SeoSan . Плюсы в том, что сервис бесплатный, помимо мета-тегов отслеживает изменения файла robots.txt. Минусы в ограничениях на количество страниц (максимум можно добавить 50 страниц), и вы не можете мониторить сайты, владение которыми не подтвердите. А хотелось бы отслеживать изменения и конкурентов в том числе.

Иногда бывает необходимо быть в курсе изменений некоторых WEB страниц произвольных сайтов. Но что делать если сайт не имеет RSS или других видов автоматизированного оповещения об изменениях сайта. В этом случае требуется инструмент который откроет сайт на нужной странице и посмотрит изменилась ли она с предыдущего посещения и если изменилась каким-то образом оповестить заинтересованное лицо.

На самом деле есть несколько разных видов такой услуги.

1. Плагин для Firefox
2. Программа которая запускается и отслеживание нужные сайты
3. Онлайн сервисы которые дают возможность прописать эти страницы и условия контроля и получать оповещения при обнаружении каждого изменения.

1) Плагины FireFox

https://addons.mozilla.org/en-US/firefox/addon/alertbox/
AlertBox 0.4.6.20111013
by Ajit K
Add, manage and track changes in web pages. Get alerts for important changes.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/
Update Scanner 3.1.10
автор sneakypete81
Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

https://addons.mozilla.org/en-us/firefox/addon/sitedelta/
SiteDelta 0.13.1
by Andreas Schierl
Notifies when websites are changed and highlights the changes since last visit.

ВНИМАНИЕ
Были сообщения что Update Scanner и Site Delta установленные и активированные одновременно могут конфликтовать и завешивать браузер.

2) Список программ которые удалось нагуглить выглядит примерно так:
http://aignes.net/ Платный с триалом.
http://www.activeurls.com/ Платный с триалом.
http://www.eldos.org/timelyweb/timelyweb.html Бесплатный
http://www.eyeonweb.com/eowwin.html Платный с триалом.
http://www.cmcode.co.uk/webmon/ Бесплатный
http://www.right-soft.com/webmon/ Платный с триалом.
http://www.xemico.com/newswatch/ Бесплатный с регистрацией, но автор опубликовал код DC8AF-00029-AFAB0
http://www.ykwong.com/chk4new.html Бесплатный

3) WEB сервисы

http://www.ChangeDetection.com/monitor.html Бесплатный
http://feed43.com/ Бесплатный и платный расширенный варианты
http://www.rsspect.com/ Бесплатна урезанная версия.

Для пользователей Linux есть такие инструменты:
http://baruch.ev-en.org/proj/websec/ Бесплатный в исходниках

Базируется на предыдущем но написан на С++ и имеет GUI интерфейс (KDE)
http://www.antbear.org/urlchange/urlprj.html
Проверяет только время на странице а не реальное её содержимое, поэтому применима для немногих сайтов.
Фактически экстрактор интересующих частей страницы. Программа только экспортирует содержимое страницы используя регулярные выражения и не ищет изменения. Далее можно использовать diff. :)
http://lab.madscience.nl/wrep/
Язык для преобразования web страниц во что-то другое. Может быть использован для создания сводной страницы изменений на других сайтах.

Distill - это инструмент веб-мониторинга. Он может отслеживать каналы RSS, веб-страницу или часть веб-страницы. Могут быть получены оповещения в виде всплывающих окон, аудио или электронной почты.

Бесплатная (с ограничениями) Mac Windows Linux Android Chrome Opera Firefox

Что в этом списке?

В списке находится программы которые можно использовать для замены Page Monitor на платформах Интернет, Chrome, Chrome OS. Этот список содержит 12 приложений, похожих на Page Monitor.

Хабрахабр, привет!

Возникала ли у вас когда-нибудь потребность отслеживать появление какой-нибудь информации на сайте, особенно если там нет рассылки новостей и RSS-канала!? Приходилось ли ожидать, когда опубликуют результаты экзамена, новые вакансии, тендеры, обновят прайс.

В нашей компании, занимающейся большую часть времени пенсионно-страховым консалтингом, такая потребность возникает постоянно. При этом тратить время на регулярное посещение сайтов грустно, а найти подходящий инструмент, которому можно было бы поручить такого рода задачу не получалось: либо надо было устанавливать отдельную программу, либо не устраивало отображение результата. Поэтому было решено создать сервис, который бы позволял отслеживать все изменения на сайтах. И не просто отслеживать и получать уведомления об изменениях, но и видеть сами изменения прямо на сайте.

Результатом разработки стал сервис Websvodka.ru , о котором здесь кратко расскажу. Возможно, вам он тоже сможет пригодиться.

Основные функции Websvodka.ru :
- Отслеживание и отображение изменений на веб-страницах.
- Контроль добавления и удаления страниц сайтов (отслеживаются гиперссылки на существующих страницах).
- Оповещение об изменениях результатов по поисковым запросам.
- Отслеживание размеров размещенных в интернете файлов.

1. Изменения на странице
После постановки страницы на контроль можно видеть все происходящие с ней изменения. На скриншоте ниже добавленная фраза выделена зелёным, а удалённая – красным. Контролируемая страница rbc.ru :

Изменения на сайт/posts/software/ :

Кроме того, сервису можно поручить отслеживать случаи появления или исчезновения на странице отдельных слов и словосочетаний.

2. Наблюдение за сайтом
А так выглядит отчет о добавлении и удалении страниц на сайте ixbt.com :

Заинтересовавшие страницы можно открыть в новой вкладке, кликнув изображение глаза, или добавить в список контролируемых, нажав на флажок. Они автоматически появятся в соответствующем разделе.

3. Поисковые запросы
Нажимается кнопка «Добавить», вводится интересующий запрос, и сервис будет показывать выбывшие и новые результаты поиска, а также изменения их позиций в выдаче.

4. Размеры файлов
Добавлять файлы для мониторинга и получать результаты отслеживания можно точно так же, как и для остальных типов контента. Задается ссылка на файл, и сервис будет информировать об изменениях его размера, даты изменений фиксируются.

Рассмотренные четыре возможности по отслеживанию изменений контента сайтов отражают основной имеющийся функционал сервиса Websvodka.ru . Для повышения надежности и скорости работы модули загрузки контента, анализа страниц и хранения результатов функционируют параллельно и размещены на разных серверах. Работа над расширением возможностей продолжается.

Будем рады, если сервис поможет в решении ваших задач!

P.S. Как это работает:
После регистрации на Websvodka.ru и входа в систему (для простого ознакомления с функционалом можно и не регистрироваться, а выбрать режим «Демоверсия», но тогда ваши действия на сайте не будут сохраняться), переходим в раздел «Рабочий стол», выбираем нужную категорию, нажимаем кнопку «Добавить» и вводим адрес того, за чем надо понаблюдать. Далее Websvodka.ru регулярно проверяет интересующий объект и уведомляет вас о его изменениях (можно настроить уведомления по e-mail). Использование основного функционала бесплатно. Сами изменения можно увидеть, войдя в нужную категорию раздела «Рабочий стол».