Страницы в поиске яндекс. Количество проиндексированных страниц в Яндексе: как посмотреть, зачем это нужно

Поисковая выдача Яндекса регулярно обновляется. Страницы вашего сайта могут появляться в результатах поиска и пропадать из них.

С помощью информации, представленной в Яндекс.Вебмастере на странице Индексирование → Страницы в поиске вы можете:

• следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа Страница, которая участвует в поиске Яндекса. Страница может не\\n попасть в поисковую выдачу, если она дублирует контент другой страницы, содержит спам\\n или вирусы, перенаправляет на другую страницу, при ее загрузке произошла ошибка на\\n стороне сервера. "}}\">добавленных и \\n

  Страница, которая была добавлена в результаты поиска Яндекса, но позже\\n исключена.

  \\n "}}\">исключенных

  страниц;
• получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи;
• выяснить причину исключения страницы из результатов поиска.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).

1. Динамика состояния страниц
2. Фильтрация данных
3. Выгрузка информации в файл

Динамика состояния страниц

Информация о страницах представлена следующим образом:

• Новые и удаленные - соотношение количества страниц, появившихся в результатах поиска и исключенных из него.
• Исключенные - динамика количества страниц, исключенных из результатов поиска.
• История - динамика количества страниц, которые участвуют в поиске. Каждый сегмент графика соответствует отдельному разделу сайта.
• Распределение - количество страниц, участвующих в поиске, отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.

Общее количество страниц, участвующих в поиске, может превышать сумму страниц на диаграммах (при отображении не учитываются отдельные страницы и разделы, которые не попали в раздел сервиса Структура сайта).

Изменения страниц в результатах поиска

Вебмастер сообщает об изменениях в результатах поиска за последние три месяца:

• дата обновления поисковой выдачи;
• была ли страница добавлена в поисковую выдачу (адрес страницы отображается зеленым) или удалена из нее (отображается синим);
• причина удаления страницы из поиска.

Резкое изменение количества добавленных или участвующих в поиске страниц может быть связано с изменениями на сайте. Например, со сменой структуры сайта или файла robots.txt .

Кроме этого, сервис показывает общую информацию о странице:

Чтобы просмотреть изменения, установите переключатель в положение Последние изменения . В результате отобразится до 50 000 изменений.

Список участвующих в поиске страниц

Вы можете просмотреть список участвующих в поиске страниц и следующую информацию о них:

• дата последнего посещения страницы роботом;
• адрес страницы относительно корневого каталога сайта;
• заголовок страницы (HTML-элемент title ).

Чтобы увидеть список страниц, установите переключатель в положение Все страницы . Список может содержать до 50 000 страниц сайта.

Если в списке не все страницы, которые должны участвовать в поиске, сообщите Яндексу о них с помощью инструмента Переобход страниц .

Список исключенных из поиска страниц

Чтобы посмотреть список исключенных страниц (до 50 000), на странице Индексирование → Страницы в поиске установите переключатель в положение Исключенные страницы . Отобразится следующая информация о страницах:

• дата последнего посещения страницы роботом;
• адрес страницы относительно корневого каталога сайта;
• статус (причина исключения страницы).

Примечание. Наличие и количество исключенных страниц в Яндекс.Вебмастере не влияет на положение сайта в результатах поиска.

Страница пропадет из списка исключенных в течение некоторого времени при одновременном выполнении следующих условий:

• страница недоступна для индексирующего робота (HTTP-ответ сервера 404 Not Found) или на странице настроен редирект c HTTP-кодом 301 ;
• другие ресурсы не ссылаются на исключенную страницу.

Если в списке исключенных вы обнаружили URL страницы, которая давно удалена с сайта или вовсе не существует, вероятно, на нее ссылаются другие ресурсы. Чтобы страница пропала из списка исключенных, запретите ее индексирование в файле robots.txt .

Фильтрация данных

Сервис позволяет быстро найти информацию о странице с помощью фильтрации, нажав значок . Фильтровать данные можно по всем представленным параметрам. Например, можно использовать фильтрацию по URL:

С указанием определенного фрагмента URL

Чтобы составить список страниц, адрес которых содержит определенный фрагмент, выберите из списка значение Содержит и в поле укажите нужное значение.

C указанием специальных символов

Специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение Условие , а само условие введите в поле. Можно добавить несколько условий - каждое из них должно начинаться с новой строки.

Для условий доступны правила:

• выполнять любое из условий (соответствует оператору «ИЛИ» );
• выполнять все условия (соответствует оператору «И» ).

При использовании символов не учитывается регистр.

Символы @, !, ~ могут использоваться только в начале строки, для них доступны следующие сочетания:

Выгрузка информации в файл

Информацию о страницах можно выгрузить в формате XLS или CSV. Содержимое файла различается в зависимости от положения переключателя.

• Последние изменения
• Все страницы
• Исключенные страницы

• updateDate - дата обновления поисковой базы;
• url - адрес страницы;
• httpCode - HTTP-код, полученный роботом во время последнего обхода;
• status - статус страницы ;
• target - адрес страницы, на которую происходит перенаправление, или отображаемый в результатах поиска адрес;
• title - заголовок страницы (содержимое HTML-элемента title );
• event - действие, произошедшее со страницей (добавление или исключение из поиска).

Файл может содержать следующие данные:

• url - адрес страницы;
• lastAccess - дата последнего посещения страницы роботом;
• title - заголовок страницы (HTML-элемент title ).

Файл может содержать следующие данные:

• url - адрес страницы;
• status - статус страницы ;
• lastAccess - дата последнего посещения страницы роботом.

Я писал ранее о том, что и честно говоря надеялся на положительный исход в данной ситуации.

Ответ Платона Щукина

Ответ Платона, честно говоря, меня огорчил.

Здравствуйте, Илья!

Прошу прощения за задержку с ответом.

После повторной проверки Вашего сайта наши алгоритмы не сочли его полностью соответствующим нашему пониманию качественных сайтов, поэтому он не будет возвращён в поиск в полном объёме. Напоминаем, что решение о включении страниц сайта в поисковую выдачу принимается на основании совокупности факторов, описанных в документах:
//help.yandex.ru/webmaster/?id=995342
//company.yandex.ru/rules/optimization/index.xml

Если Вы будете продолжать развивать Ваш сайт для пользователей, размещать уникальную и полезную информацию и следовать нашим рекомендациям, то со временем количество его страниц в поиске увеличится автоматически.

—
С уважением, Платон Щукин
Служба поддержки Яндекса
//help.yandex.ru/

Как я видел ситуацию на тот момент

Статьи написаны настолько классно, что такого еще не размещал нигде. Именно это и усугубляет ситуацию. Может копирайтеры где-то переоптимизировали текст? Но в интеренте милионы сайтов, которые в тысячи раз хуже этого и при этом они спокойно индексируются.

В общем я изменил ТЗ копирайтеру о том, что возможно подкорректирую будущие ТЗ. Потому что у меня возникли проблемы с сайтом. Яндекс его не хочет индексировать. Суппорт ответил, что «Если Вы будете продолжать развивать Ваш сайт для пользователей, размещать уникальную и полезную информацию и следовать нашим рекомендациям, то со временем количество его страниц в поиске увеличится автоматически».

Статья по теме: Что изменится, если убрать с сайта SEO-тексты

Я подозреваю, что в некоторых статьях, проблема связана с переспамом ключевых слов.

Поэтому есть тема, - пишем для людей, не обращая внимание на поисковики. Ключевые слова не обязательно писать в прямом вхождении, если в тексте они смотрятся как пришитые.))

То есть задача копирайтеру только упростилась. Есть тема - нужно написать на нее хороший ответ.

Что-то много в последнее время читаю сообщений, что даже на СДЛ-сайтах падает трафик на порядок. С 1000 становится 100 посетителей в день. Копирайтеры пишут класнейшие статьи, но Яндекс говорит, что они не отвечают требованиям качества. Что происходит на самом деле?

Да и само понятие АГС уже несколько расширяется. Теперь под этот фильтр попадают не только явные ГС, а вполне приличные сайты с самым отменным контентом. С максимальным показателем отказа 37%, а среднее значение 12,2%. Не вижу в этом логики вообще. Только из-за того, что сайт молодой разве стоит его так карать? Может Яндекс уже пресытился сайтами,которых в интернете уже стало такое количество, что в поисковом индексе не всем хватает места. Это ведь новые винты и специально оборудование покупать надо, чтобы расширять серверы. А они ведь не дешевые.

Что сказал СайтКлиник

Мы считаем, что основные причины - это отсутствие «добавочной ценности»
и «плоская» структура сайта.

Например, главная страница состоит из списка статей и аннотаций к ним,
аннотации дублируют контент, который находится на самой странице
статьи.

Кроме того, правый блок на главной странице «новые статьи»
содержит те же ссылки, что и основной контент главной.

В итоге на сайте неуникальные страницы и анонсы, включая главную, и
страницы статей.

Статья по теме: Контент-маркетинг для решения задач SEO

Сами статьи неплохие, контент не содержит спама, однако после статей
располагается блок ссылок на другие материалы, именно в нем часто
мелькают одни и те же слова, что может считаться переспамом.

В первую очередь необходимо работать над «добавочной ценностью»,
привлекать посетителей, развивать ресурс. Хорошим подспорьем в этом
могут стать соц. сети - тематика позволяет.

Особое внимание уделите главной странице сайта, сделайте ее более
информативной, добавьте полезные блоки.

Я ответил так:

Значит из-за самого контента санкций быть не могло?
На счет неполных дублей - возможно стоит сделать уникальные анонсы, но
у меня на двух других сайтах сделано аналогично и при этом они
нормально индексируются.

Хочу уточнтиь, правильно ли я понял Вас, что под термином «плоская»
структура сайта имеется в виду то, что адрес УРЛ не отображает
принадлежность статьи к какой-либо категории? Но я сделал это для того,
чтобы каждая страница имела больший статический вес. Та как, чем больше
вложенность, тем меньший вес имеет страница.

На счет главной - согласен, надо сделать ее статической.

Мне ответили

По поводу анонсов - их уникальность не всегда является критичной, но
чаще всего рекомендуется их уникализировать.

Под термином «плоская» имеется в виду структура URL (необходимо
отображать принадлежность статьи к разделу), кроме того, разделов очень
мало.

У сайта отсутствует добавочная ценность, т. е. он ничем не отличается от
подобных ресурсов. На данный момент сложно определить концепцию сайта,
именно поэтому мы не предлагали Вам ни аудит, ни разработку стратегии, а
дали несколько советов по развитию ресурса.

всего

От автора

Цель теории и практики SEO, это попадание страниц сайта в поисковую выдачу (индексация) и подъём в выдаче по продвигаемому ключевому запросу. Занимаясь продвижением сайта, нужно иметь под рукой, простые и доступные инструменты проверки, какие страницы сайта проиндексированы, а какие нет. В этой статье я покажу, как посмотреть количество проиндексированных страниц в Яндексе. Как проверить индексацию страниц в Google .

Общий объем проиндексированных страниц

Ситуацию с индексацией можно назвать идеальной, если количество открытых для поисковиков страниц сайта совпадает с количеством страниц в индексе.

Это значит, что все создаваемые страницы сайта имеют достаточную информативность и заинтересовали поисковиков своей полезностью.

Нужно понимать, что индексация страницы это лишь первый шаг, за которым нужно заниматься её продвижением в выдаче. Однако при удачном выборе частотности ключа и его конкуренции страница сразу попадет в ТОП и остается её там только поддерживать.

Как я сказал, идеальный вариант, если все значимые страницы сайта попали в индекс. При этом количество проиндексированных страниц должно точно совпадать с продвигаемыми страницами. Ситуации, когда страниц в индексе значительно меньше или больше, чем страниц на сайте, требует срочного исправления.

1. Если страниц в индексе значительно, меньше, чем страниц на сайте, очевидно, что вы теряет трафик и делаете что-то не так. Либо страницы не информативны, либо контент не уникален, либо страницы у вас просто воруют и быстрее индексирую на другом веб-майте. 2. Ситуация, когда страниц в индексе больше, чем страниц на сайте, ничуть не лучше. Это значит, что поисковики индексируют дубли страниц или на сайте не закрыты от поисковиков малоинформативные и технические страницы.

Обе ситуации, недостаточной и избыточной индексации, мешают продвижению сайта, требуют изучения и исправления.

Чтобы сравнить количество страниц сайта и количество страниц в индексе, нужно эти количества знать и уметь быстро посмотреть количество проиндексированных страниц в Яндексе.

Сколько страниц на вашем сайте

На этапе создания сайта вы должны были решить, какой материал сайта показывать поисковикам, а какой закрыть от сканирования и индексации.

Для управления индексацией страниц в Яндекс отлично работают директивы файла robots.txt. Именно правильное заполнение секции для основного бота Яндекс, User-agent: Yandex , должно стать основой управления Яндекс индексацией.

Узнать общее количество страниц сайта, которое «видит» Яндекс, на любом генераторе Sitemap (карты сайта), отметив настройку «учитывать директивы robots.txt». Рекомендую или .

Количество созданных страниц сайта можно посмотреть в административной панели сайта на странице материалов или товаров.

Остается сравнить два полученных значения с количеством проиндексированных страниц Яндекс. Сделать это можно несколькими способами.

Как посмотреть количество проиндексированных страниц в Яндексе

Способ 1. Яндекс веб-мастер

• Зайдите (заведите) в свой аккаунт на Яндекс Веб-мастере. https://webmaster.yandex.ru/
• Посмотрите сколько страниц у вас в поиске .

Способ 2. Расширения браузеров

В любом браузере есть расширения, показывающие основные или расширенные SEO данные по сайту, в том числе количество проиндексированных страниц в Яндексе. Вот одно из них, под названием «RDS bar» .

• для Google ()
• для Mozilla ()
• для Opera ()

Способ 3. Синтаксис поисковых запросов Яндекс

• Войдите в поиск Яндекс (https://ya.ru/ );
• В адресную строку впишите строку поиска: host: www.domen.ru | host:domen.ru ;
• Посмотри результат поиска.

Весь Язык запросов Яндекс

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

• с помощью Яндекс Вебмастера;
• с использованием операторов поисковой системы;
• с помощью расширений и плагинов;
• с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

• «site» — поиск по всем поддоменам и страницам указанного сайта;
• «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

Многие начинающие веб-мастера ошибочно полагаю, что после создания сайта он автоматически сразу же должен появится в поисковых системах. И очень удивляются, когда, введя в строку поиска адрес своего сайта, получают в ответ от поисковика «по вашему запросу ничего не найдено». Почему же так происходит?

Поисковым системам нужно время, чтобы узнать о новом сайте, проиндексировать его и занести в свои базы. Обычно 2-3 недели. Если Вы делитесь ссылкой на свой сайт в социальных сетях, то индексация происходит быстрее, потому что сейчас поисковые системы в первую очередь просматривают страницы социальных сетей.

Но Вы можете сами сообщить поисковым системам о Вашем новом сайте. Например, добавить сайт в поисковую систему Яндекс (Yandex) Вы можете по ссылке:

Полезно иметь аккаунт на Яндексе. Тогда Вам будут доступны дополнительные инструменты для работы с сайтом в поисковых системах: количество страниц в поиске, ТИЦ, внешние ссылки, возможность загрузить карту сайта, отслеживать посещаемость сайта (с помощью очень удобного сервиса Яндекс-метрика) и т. д.

Здесь также Вам потребуется аккаунт в Google. И также будут доступны дополнительные инструменты для работы с сайтом.

Поисковые системы являются источником бесплатных целевых посетителей для Вашего сайта. Ведь, когда люди ищут информацию, они прежде всего обращаются к поисковым системам.

Но добавление сайта в поисковые системы - это только первый шаг на пути к получению траффика из поисковиков. Ведь люди будут вводить не адрес вашего сайта, а свои конкретные поисковые запросы - слова или словосочетания для поиска нужной им информации. И Вам нужно, чтобы под конкретные поисковые запросы Ваш сайт выходил на первой, максимум на второй странице поисковиков.

Как этого добиться? Я сама пока далеко не профессионал в этом вопросе. Но я знаю, у кого можно и нужно этому поучиться.

Эта запись была написана в Среда, Август 21st, 2013 в 11:41 пп и опубликована в .

Комментариев: 103

• Игорь пишет:
  

  Добрый вечер. Подскажите «чайнику»- сделал сайт на конструкторе, все вроде правильно (может быть), понимаю, что сразу много ждать не стоит, но как узнать — он вообще жив, пусть где-то на сотой странице?

• анастасия пишет:
  

  Здравствуйте. Создала сайт 2 месяца назад, а в поисковике не выходит. Подскажите что делать? https://www.santexnik-master59.com

• Алексей пишет:
  

  Добрый день. Проверьте сайт http://www.lubipek12.ru
  Счётчик Тиц установлен, но нет изменений по нему. Когда сайт попадет в этот рейтинг?

• Александр пишет:
  

  Спасибо за помощь, без вас бы даже и не узнал, что сайты надо индексировать!

• Кирилл пишет:
  

  создал я сайт html способом я не уверен работает или нет ноя зделал все как надо а url не хочет делать вот навсякий случий полная ссылка котороя у меня отображается (не через поисковик) file:///C:/Users/%D0%9A%D0%B8%D1%80%D0%B8%D0%BB%D0%BB/Desktop/ru.sayt.org.html

• Наталья пишет:
  

  Здравствуйте. Я абсолютный новичок в создании сайтов. Создала бесплатную версию на конструкторе сайтов. Домен присвоила. По адресу нахожу сразу. Но как сделать так, чтобы сайт в поисковиках назывался и выпадал в списке типа «Персональная страница….»? Спасибо.

• Наталья пишет:
  

  Спасибо! Очень интересная информация. О том, что сообщить поисковикам можно самим увидела только у вас. Обязательно воспользуюсь вашим советом.

• Наталья пишет:
  

  Очень интересная статья. Только у вас прочитала о том, что можно самим заявить о себе поисковикам. Обязательно воспользуюсь.

• Наталья пишет:
  

  Доброе утро!!! Подскажите,созданный сайт интернет- магазин надо регистрировать???

• Светлана пишет:
  

  Здравствуйте, скажите когда сайт http://bomond.cool/ будет высвечиваться в поиске? при вводе не конкретного названия а сопутсвующих слов. Еще подскажите когда исчезнет старый не рабочий сайт с поиска,если к нему нет доступа для удаления. хостинг и домен не проплачен. сайт не работает. нужно чтобы не высвечивался в поиске. ссылка http://bomond.pro/