Как проверить страницы в поиске яндекс. Почему страницы исключены из поиска

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:

• Ошибка при загрузке или обработке страницы роботом - если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX. Выявить ошибку поможет инструмент Проверка ответа сервера .
• Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex .
• Страница перенаправляет робота на другие страницы.
• Страница дублирует содержание другой страницы .
• Страница не является канонической .

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, отправьте страницу на переобход . Так вы сообщите роботу об изменениях.

Вопросы и ответы про исключенные из поиска страницы

На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

• Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
• Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. Проверьте ответ сервера по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.

В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

В разделе Страницы в поиске , в списке Исключенные страницы , отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).

Страница удаляется из списка исключенных, если:

• она недоступна для робота в течение некоторого времени;
• на нее не ссылаются другие страницы сайта и внешние источники.

Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.

Яндекс стремится находить ответ на запрос пользователя, предоставляя на странице результатов информацию и ссылки на нее в интернете. Мы создали и развиваем поиск , исходя из нашего понимания, что нужно пользователям, и какая информация является ценной.

Поэтому следование рекомендациям, приведенным ниже, поможет в индексировании и лучшем ранжировании вашего сайта, в то время как применение обманных техник может привести к понижению его позиций или исключению его из поиска .

Основные принципы

Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.

Думайте о пользователях, а не о поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?

Тщательно продумайте дизайн - он должен помогать посетителям увидеть главную информацию , ради которой сайт создан.

Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Думайте о том, что пользователь получит, придя на ваш сайт .

Примеры к принципам

Если в этом разделе не описан какой-то прием, помогающий искусственно повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и выше описанным принципам.

Мы стараемся не индексировать или не ранжировать высоко:

• Сайты, которые вводят в заблуждение посетителей: при скачивании какого-либо файла (аудио, видео, торрент-файл и пр.) загружается посторонняя программа. Или посторонняя программа размещается под видом популярного приложения и т. д. Примером такого нарушения являются так называемые программы-обертки .
• Сайты, использующие устройства посетителей для майнинга криптовалют .

Сайты, копирующие или переписывающие информацию с других ресурсов и не создающие оригинальный контент.

• Сайты, копирующие или переписывающие информацию с других ресурсов, с низкокачественным автоматическим переводом контента на другой язык, не создающие оригинальный контент.

Страницы и сайты, единственной целью которых является перенаправление посетителя на другой ресурс, автоматически («редирект» ) или добровольно.

Автоматически сгенерированный (бессмысленный) текст.

Сайты с каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакого уникального сервиса.

Страницы с невидимым или слабовидимым текстом или ссылками .

Сайты, отдающие разный контент посетителям и роботам поисковых систем («клоакинг» ),

Сайты, предоставляющие товары или информацию по партнерским программам, но не представляющие никакой ценности для посетителя.

Сайты, использующие обманные техники (например, вредоносный код , опасные для посетителей сайта настройки CMS и серверов, вирусы в партнерских программах , вредоносные мобильные редиректы), перенаправляющие посетителей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.

Сайты, пытающиеся повлиять на поисковую систему путем имитации действий посетителей .

Сайты, основным предназначением которых является агрессивная демонстрация рекламных материалов (в том числе popup, popunder , clickunder).

9 декабря в ходе 6-й вебмастерской Яндекса Дмитрий Попов из команды Вебмастера представил две новых функции для вебмастеров. Выгрузка отчетов по поисковым запросам и обновленный инструмент - Страницы в поиске. О других обновлениях и возможностях Вебмастера мы писали .

Запись докладов доступна на канале Яндекс Академии . Рекомендуем к просмотру, будет полезно новичкам и опытным вебмастерам.

В разделе Поисковые запросы теперь можно не только смотреть все основные параметры, статистику, но и выгрузить любую необходимую информацию в.csv отчет.

Доступны:

• сводные отчеты по группам запросов, популярным и избранным запросам;
• детальный отчет по конкретному запросу или их группе;
• детальный отчет по любому из отслеживаемых вебмастером показателей группы или запроса.

Данные можно удобно загружать в сторонние системы аналитики.

Важно: На момент написания статьи отчеты формируются некорректно. Отчет может быть пустым, либо отображать данные в сложночитаемом виде. О проблеме сообщили в поддержку Яндекса.

Обновлено: В скором времени Яндекс обещает устранить проблему. Пока, к сожалению, такие действия нужны:

1. меню «Файл» - «Импорт» - выбираем «Текстовый файл»;
2. указываем предварительно скачанный файл архива;
3. выбираем вариант «С разделителями» и формат «UTF-8»;
4. в качестве разделителя указываем «Запятая»;
5. нажимаем «Готово».

Второй важный инструмент - Страницы в поиске

Инструмент помогает понять:

График истории изменений отображает страницы по основным разделам.

Новый инструмент здорово облегчил жизнь вебмастерам и владельцам сайтов. Теперь можно быстро найти и удалить дублирующиеся страницы, страницы с неправильно настроенным атрибутом canonical. Отследить нерелевантную страницу и переписать на ней текст, добавить фотографию и т.д.

А как вам обновленный вебмастер? Какими еще инструментами пользуетесь?

P.S. Обязательно прочитайте следующую статью о глубокой работе с Я.вебмастером с помощью инструмента Поисковые запросы , а также материал про нововведение Яндекса -

Здравствуйте уважаемые посетители моего блога. Сегодня я хочу рассказать вам о 100% способе индексации ваших страниц в поисковой системе Яндекс. В одной из своих предыдущих статей про я описал несколько методов, с помощью которых страницы сайта индексируются очень хорошо, но описанные в статье методы, подходят преимущественно для новых страниц сайта. А что же делать в ситуации, когда с индекса по ряду определенных причин вылетели страницы, а загнать их обратно практически невозможно? И если, к примеру, сайт в системах продажи ссылок, то спрос на него будет все меньше и меньше. Для биржи это снижение процента индексации обзоров, соответственно и спроса на площадку, для биржи это занесение площадки в GBL Оптимизаторами. Это всего 2 примера, на самом деле, выпадение страниц из индекса это постоянная головная боль для Вебмастера. За все время, я перепробовал множество способов возврата страниц обратно в индекс, но ни один из них не приносил желаемого результата. Что, только я не пробовал – твиттер, аддурилка, простановка ссылок на выпавшие страницы, ничего не помогало.

И вот совсем недавно, я случайно наткнулся на одну тему, где в общих чертах было описано про Яндекс Поиск и как с его помощью можно возвращать в индекс выпавшие страницы. Сначала, я отнесся к этому способу скептически, но так как времени свободного в тот момент было достаточно, решил попробовать.

Индексация страниц с помощью Яндекс Поиск

Техническое название поиска – произвольное название

Название поиска для стандарта Opensearch – пример: поиск по site.ru (вместо site.ru урл вашего сайта)

Семейный фильтр – выбираем «Умеренный фильтр»

Область поиска – Жмем кнопку Добавить сайты и исключения и в блоке Сайты добавляем урл сайта, у которого есть проблемы с индексацией.

Адрес электронной почты – указываете, если хотите свой e-mail для уведомлений об изменении статуса поиска.

Жмем кнопку Далее к шагу 2. После чего шаг 3 и 4 пропускаем, просто жмем кнопку Далее к шагу 3 и Далее к шагу 4. На шаг 4. Проверка поиска – вводим в поле любое название статьи из вашего сайта для проверки корректности введенных вами данных ранее и жмем кнопку Найти.

Если в результатах поиска отобразится окно с упоминанием этой фразы по разным страницам вашего сайта, то все сделано верно, и можно продолжать.

Жмем кнопку Далее к шагу 5, и появится окно, в котором будет исходный код поиска от Яндекса, его устанавливать не нужно на сайт. Метод прекрасно работает без установки кода. Но если вы хотите установить именно этот вид поиска по сайту, то можете использовать его. Я лично не устанавливал.

Итак, с добавлением сайт в поиск мы разобрались, теперь давайте рассмотрим процедуру связки проблемного сайта с поиском от Яндекса. Для этого, перейдем по ссылке Мои поиски, и выберем интересующий нас сайт.

В левой колонке будет отображаться меню, с которого нам необходимо выбрать пункт Индексирование.

Выбираем версию нашего движка (мы рассмотрим для примера движок WP) и в форму указываем ip-адрес вашего сайта.

Если вы не знаете ip-адрес вашего сайта, тогда просто в командной строке (кнопка Пуск — Все программы — Стандартные — Командная строка) напишите ping http://vash-site.ru и нажмите кнопку Enter. В ответ вы получите ip-адрес нужного вам сайта. На ниже я показал, как это делается.

После добавления ip-адреса, скачивайте плагин и проводите его установку на движок. После чего активируйте его, перейдите в консоли блога по адресу Яндекс.ПДС и заполните необходимые поля.

Значения для этих полей вы получите после того как укажите ip-адрес вашего сайта. Просто копируем эти значения и вставляем в соответствующие поля в плагине.

Все с настройками мы закончили. Теперь перейдем к практическим действиям. Выберете на вашем сайте страницу, которая не в индексе Яндекса и проведите на ней незначительные изменения:

1) Добавьте пару слов к самой статье, выделите несколько слов тэгом strong, поставьте пару знаков пунктуации.

2) Измените дату публикации статьи. К примеру, если стоит 25.10.2013 то поставьте 27.10.2013

Эти действия необходимо проделать, чтобы Яндекс видел изменения на странице и вновь ее переиндексировал.

Жмем кнопку Обновить, переходим в консоли сайта по ссылке Яндекс.ПДС и если вы корректно заполнили поля в плагине ранее, то должна появится вот такая надпись: «Плагин работает корректно. Последний принятый адрес:» урл, над которым вы провели изменения.

Примерно через 1-2 часа, эти страницы должны быть в индексе Яндексе. Если этого не случилось, подождите еще некоторое время и проверьте снова. Если опять страниц нет в индексе, проведите процедуру изменения по странице еще раз и обновите ее.

Приведенный способ работает как для страниц, выпавших из индекса, так и для новых страниц которые только публикуются.

Сам принцип работы плагина состоит в том, чтобы уведомить Яндекс о новой странице – послать пинг. Соответственно, ваш сайт добавлен в поиск Яндекса, а поэтому он формирует этот самый поиск исходя из ваших страниц. Вот и весь секрет.

Если у вас тип движка не попадает в список, приведенный выше, не расстраивайтесь. После того как вы перешли по вкладке Индексирование, с правой стороны будет ссылка Указать URL вручную, жмете на нее и в форму копируете нужные вам урлы, после чего жмете кнопку Отправить.

Все сайты, для которых вы будете проводить такие действия с помощью плагинов или же вручную, должны быть добавлены в панель Вебмастера Яндекса и подтверждены там.

Вот такое небольшое пособие для тех, кто имеет проблемы с индексацией. Пользуйтесь этим методом, и таких проблем не должно больше возникать.

На этом у меня все друзья. Завтра еду на , с меня отчет. Всем пока!!!

Поисковая выдача Яндекса регулярно обновляется. Страницы вашего сайта могут появляться в результатах поиска и пропадать из них.

С помощью информации, представленной в Яндекс.Вебмастере на странице Индексирование → Страницы в поиске вы можете:

• следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа Страница, которая участвует в поиске Яндекса. Страница может не\\n попасть в поисковую выдачу, если она дублирует контент другой страницы, содержит спам\\n или вирусы, перенаправляет на другую страницу, при ее загрузке произошла ошибка на\\n стороне сервера. "}}\">добавленных и \\n

  Страница, которая была добавлена в результаты поиска Яндекса, но позже\\n исключена.

  \\n "}}\">исключенных

  страниц;
• получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи;
• выяснить причину исключения страницы из результатов поиска.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).

1. Динамика состояния страниц
2. Фильтрация данных
3. Выгрузка информации в файл

Динамика состояния страниц

Информация о страницах представлена следующим образом:

• Новые и удаленные - соотношение количества страниц, появившихся в результатах поиска и исключенных из него.
• Исключенные - динамика количества страниц, исключенных из результатов поиска.
• История - динамика количества страниц, которые участвуют в поиске. Каждый сегмент графика соответствует отдельному разделу сайта.
• Распределение - количество страниц, участвующих в поиске, отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.

Общее количество страниц, участвующих в поиске, может превышать сумму страниц на диаграммах (при отображении не учитываются отдельные страницы и разделы, которые не попали в раздел сервиса Структура сайта).

Изменения страниц в результатах поиска

Вебмастер сообщает об изменениях в результатах поиска за последние три месяца:

• дата обновления поисковой выдачи;
• была ли страница добавлена в поисковую выдачу (адрес страницы отображается зеленым) или удалена из нее (отображается синим);
• причина удаления страницы из поиска.

Резкое изменение количества добавленных или участвующих в поиске страниц может быть связано с изменениями на сайте. Например, со сменой структуры сайта или файла robots.txt .

Кроме этого, сервис показывает общую информацию о странице:

Чтобы просмотреть изменения, установите переключатель в положение Последние изменения . В результате отобразится до 50 000 изменений.

Список участвующих в поиске страниц

Вы можете просмотреть список участвующих в поиске страниц и следующую информацию о них:

• дата последнего посещения страницы роботом;
• адрес страницы относительно корневого каталога сайта;
• заголовок страницы (HTML-элемент title ).

Чтобы увидеть список страниц, установите переключатель в положение Все страницы . Список может содержать до 50 000 страниц сайта.

Если в списке не все страницы, которые должны участвовать в поиске, сообщите Яндексу о них с помощью инструмента Переобход страниц .

Список исключенных из поиска страниц

Чтобы посмотреть список исключенных страниц (до 50 000), на странице Индексирование → Страницы в поиске установите переключатель в положение Исключенные страницы . Отобразится следующая информация о страницах:

• дата последнего посещения страницы роботом;
• адрес страницы относительно корневого каталога сайта;
• статус (причина исключения страницы).

Примечание. Наличие и количество исключенных страниц в Яндекс.Вебмастере не влияет на положение сайта в результатах поиска.

Страница пропадет из списка исключенных в течение некоторого времени при одновременном выполнении следующих условий:

• страница недоступна для индексирующего робота (HTTP-ответ сервера 404 Not Found) или на странице настроен редирект c HTTP-кодом 301 ;
• другие ресурсы не ссылаются на исключенную страницу.

Если в списке исключенных вы обнаружили URL страницы, которая давно удалена с сайта или вовсе не существует, вероятно, на нее ссылаются другие ресурсы. Чтобы страница пропала из списка исключенных, запретите ее индексирование в файле robots.txt .

Фильтрация данных

Сервис позволяет быстро найти информацию о странице с помощью фильтрации, нажав значок . Фильтровать данные можно по всем представленным параметрам. Например, можно использовать фильтрацию по URL:

С указанием определенного фрагмента URL

Чтобы составить список страниц, адрес которых содержит определенный фрагмент, выберите из списка значение Содержит и в поле укажите нужное значение.

C указанием специальных символов

Специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение Условие , а само условие введите в поле. Можно добавить несколько условий - каждое из них должно начинаться с новой строки.

Для условий доступны правила:

• выполнять любое из условий (соответствует оператору «ИЛИ» );
• выполнять все условия (соответствует оператору «И» ).

При использовании символов не учитывается регистр.

Символы @, !, ~ могут использоваться только в начале строки, для них доступны следующие сочетания:

Выгрузка информации в файл

Информацию о страницах можно выгрузить в формате XLS или CSV. Содержимое файла различается в зависимости от положения переключателя.

• Последние изменения
• Все страницы
• Исключенные страницы

• updateDate - дата обновления поисковой базы;
• url - адрес страницы;
• httpCode - HTTP-код, полученный роботом во время последнего обхода;
• status - статус страницы ;
• target - адрес страницы, на которую происходит перенаправление, или отображаемый в результатах поиска адрес;
• title - заголовок страницы (содержимое HTML-элемента title );
• event - действие, произошедшее со страницей (добавление или исключение из поиска).

Файл может содержать следующие данные:

• url - адрес страницы;
• lastAccess - дата последнего посещения страницы роботом;
• title - заголовок страницы (HTML-элемент title ).

Файл может содержать следующие данные:

• url - адрес страницы;
• status - статус страницы ;
• lastAccess - дата последнего посещения страницы роботом.