Робот обошел что значит. Страница обходится роботом, но отсутствует в поиске

Уже не первый год все вебмастера и SEOшники сетуют на то, что страницы в индекс новому сайту очень сложно загнать. Это связано в том числе и с редкими обновлениями поисковой выдачи Яндекса.

В этом году Яндекс представил новую версию своего вебмастера . Сначала было в бета тестировании и в последующем полностью на него перешли.

Всем привычная аддурилка в новом вебмастере находится в разделе "Инструменты " и теперь называется переобход страниц.

Переобход страниц загоняет страницы в индекс Яндекса

Каждую новую статью моего блога, помимо того что расшариваю в соц. сетях, добавляю в аддурилку Яндекса и Google.

В новой аддурилке (переобход страниц) теперь можно добавлять урлы сразу пачкой, но дневной лимит всего 10 урлов .

Раньше Яндекс как психолог, просто принимал ссылки (выслушивал что ему говорит пациент) и обещал что робот обязательно посетит сайт и посмотрит эти страницы. При этом абсолютно не обещал , что страница попадет сразу в индекс.

Сейчас же работая с одним интернет магазином по продаже буровых установок, я как в Google так и в Яндекс добавлял сразу пачками новые оптимизированные страницы сайта.

До того, как я начал это делать, сайт новый и стоял всего с 4мя страницами в индексе - главная, новости, о компании и контакты. О том что категории товаров и тем более сами товары попадут в индекс в скором времени и речи не было.

Какого же было мое удивление, когда почти все страниц что я добавлял в переобход страниц попали в индекс и сам Яндекс подтверждая это, показывает время попадания в Индекс этих страниц.

С Google и раньше проблем не было. Страницы почти моментально залетали в индекс, при добавлении в аддурилку, а в Яндекс приходилось ждать по 2 недели.

Проверю работу переобхода страниц еще на нескольких страницах, но то что это помогает быстро загнать страницы в индекс, причем бесплатно и не прибегая к сторонним сервисам.

Если у вас переобход страниц работает так же хорошо или нет, отпишитесь в комментариях.

P.s. решил проверишь попала ли эта статья в индекс спустя несколько часов и о чудо!

Как видно на скрине ниже, страница уже в индексе и прошло всего 3 часа 10 минут, но яндекс округляет в большую сторону и написано что 4 часа назад.

5 лайков

2018-11-03T01:15:05+00:00

Яндекс запустил новый инструмент – переобход поисковым роботом страниц сайта.
По заявлениям специалистов яндекса, данный инструмент позволит в ускоренном формате поисковым роботам посетить страницы вашего сайта.
Одновременно можно добавлять не более 10 страниц в сутки на посещение поисковым роботом.

Видео инструкция о том, как добавить страницы для переобхода поисковым роботом

Чем полезен данный инструмент?

• У вас появилась новая страница, и вы хотите быстрее сообщить о ней поисковым роботам.
• На вашей странице что-то изменилось и вы хотите ускоренно оповестить робота об изменении.
• Ваша страница выпала из индекса (по разным причинам) и вам нужно быстрее ее вернуть.
• Причины переобхода поисковым роботом могут быть разными, и вы можете использовать этот инструмент в своих целях и задачах.

А теперь, рассмотрим, как добавить страницы на переобход роботом яндекса.
Во-первых, вам необходимо зайти в панель вебмастера яндекса, затем перейти на бета версию вебмастера.
Выбирете необходимый сайт , если у вас их несколько. И на открывшейся странице, выберите пункт Инструменты и в открывшемся списке пункт Переобход страниц . Смотрите рисунок ниже.

Когда вы кликните на пункт меню Переобход страниц, откроется поле для ввода ссылок.
Необходимо вставить в это поле до 10 ссылок на ваши страницы. Затем нажмите на кнопку отправить и ссылки добавятся в очередь на посещение роботом.

Чего только люди не придумают, чтобы загнать страницу своего сайта в индекс Яндекса или Гугла: ссылки покупают, с разных форумов ссылаются, соц.сетями спамят, но это часто не бесплатно, ещё и ждать надо долго и помогает не всегда. А я сегодня покажу вас способ, как проиндексировать любую страницу вашего сайта быстро и бесплатно, для этого всего-навсего надо и Яндекс.Вебмастер.

Добавляем страницу в индекс Google за пару секунд

Проблемы с индексацией в Гугле возникают редко, в большинстве случаев его бот обходит сайты по несколько раз на день, но все-таки иногда бывают исключения. Вот, у меня на днях была ситуация, когда добавлена статья в Миралинкс на украинском сайте была проиндексирована, если проверять из Украины, но при этом не проиндексирована, если смотреть из Московского региона, как это делает робот Миралинкс. Поэтому рассмотрим этих пару кликов, которые надо сделать для достижения заветной цели:

Как вы можете видеть все очень быстро и просто, теперь перейдёт к другой поисковой системе.

Добавляем страницу в индекс Yandex

Проблемы с в Яндексе встречаются чаще. Это важно не только в случаях, когда поисковик не видит страницу и не посылает туда людей, но и просто при продаже ссылок, когда без индексации денег за ссылку не видать. Как раз у меня есть не оплаченная ссылка в ГГЛ, сразу все продемонстрируем на практике.


Видим, что 24.07.2016 в 1:47, есть не оплачена ссылка за 692 рубля, также видно, что на балансе у меня 0 рублей.
И так заходим теперь в Яндекс.Вебмастер и делаем пару кликов:

1. Выбираем нужный сайт, страницу из которого будем скармливать роботу, кликаем.
2. Потом в панели меню с лева кликаем Инструменты=>Переобход страниц.
3. В появившемся поле вставляем ссылку и кликаем «Отправить».

Всё, мы уже практически все сделали, но только проверять надо не через пару секунд, как в случае с Google, а через пару дней, ну, мы все знаем, какой шустрый отечественный поисковик. На сайте вообще пишет, что робот это сделает в течение 3-ое суток, но, на практике всё происходит значительно быстрее… В панели, то уже через 20 минут писало, что робот обошёл страницу… Правда, реально страницу в индексе мы сможем увидеть только при очередном апдейте Яндекса.

Ну, вот, все произошло через 5 дней, так как при апдейте 29.07.2016 данная страница уже была в индексе Яндекса.

Теперь и наша ссылка в gogetlinks перешла во вкладку «Оплаченные» и денюжка за её капнула на баланс.


Кстати, бывали у меня случаи, когда страница индексировалась Яндексом практически мгновенно, зразу же после такого переобхода роботом, но видим, что сейчас уже не так, не знаю, может они немного изменили алгоритм, а может оно бывает по разному…

Как видим, всё очень просто, следим за тем, как поисковые роботы обходят наши ресурсы и если что-то они не досмотрели, то помогаем им с помощью панелей для вебмастеров, не зря же они нам их создавали. Там есть ещё много интересных функций, о которых мы поговорим уже в новых постах.

По сути, процесс переобхода страниц сайта является повторной ее индексацией, во время которой обновляется информация в кэше поисковиков. То есть подразумевается, что до этого страница в индексе не находилась. Данная процедура выполняется автоматически с определенной периодичностью (еженедельно), однако для каждого отдельного сайта промежуток разный.

Иногда возникают ситуации, когда вам требуется получить результаты максимально быстро. В таком случае можно использовать разные инструменты, позволяющие ускорить переиндексацию страницы в Яндексе и Google. О них сегодня вкратце и расскажу. Это понадобится, например, при дабы не ждать появления робота. Либо, возможно, вам нужно срочно заменить информацию по своему сайту в выдаче. Также метод пригодится для возвращения случайно выпавших URL’ов из-за ошибок сервера.

В сети встречались разные советы по теме: активно использовать устанавливать и т.п. Однако это больше касается первичной индексации, как, например, создание . Для нашей же задачи существуют специальные более эффективные и правильные способы — через панели вебмастеров.

Данная функция появилась в чуть позже после релиза. Если вы еще не зарегистрированы в этом сервисе, обязательно советую это сделать — webmaster.yandex.ru . После подтверждения прав на сайт можете зайти в раздел «Индексирование» — «Переобход страниц».

Здесь в текстовом поле указываете ссылки, на которые хотите привлечь поискового робота. Раньше дневной лимит составлял 10 штук, сейчас — 20 (на один проект). После нажатия «Отправить» внизу под формой отобразятся новые страницы для переиндексации в Яндексе. Всего у них есть 3 статуса:

• В очереди — линки только добавлены.
• Робот обошел — процесс выполнен, ожидайте апдейта при следующем обновлении базы.
• Ошибка.

После этого остается лишь ждать очередного апдейта.

Переобход страниц в Google

Выполнение подобной задачи в Гугле аналогично, хоть и занимает больше шагов. Ваш сайт также должен быть добавлен в панель вебмастера, но уже Google Search Console . Находите в инструментах раздел «Crawl» (Сканирование) — «Fetch as Google» (Посмотреть как Googlebot).

Здесь нужно:

1. В текстовом поле вводите адрес страницы для переиндексации в Гугле (без домена, только путь).
2. Кликаете по кнопке «Fetch» (Сканировать). Новый URL будет добавлен в список, и через несколько секунд после проверки у него появится статус «Complete» (Готово).
3. Затем нажимаете на кнопку «Request Indexing» (Отправить в индекс), что находится рядом.

После этого отобразится всплывающее окно, где выбираете один из вариантов переобхода страницы Гуглом:

Вы можете:

• выполнить переиндексацию страницы в Google для одного URL (до 500 в месяц).
• просканировать указанную страницу и все прямые ссылки на ней (10 штук в месяц). Данная опция хорошо подходит разделам/категориям со списком записей или .

Разумеется при всем при этом переобход страниц в Яндекс.Вебмастере или Google Search Console не гарантирует того, что новая информация с вашего URL будет добавлена в индекс. Соблюдение алгоритмов и требований к контенту никто не отменял. По времени — такая же ситуация, инструменты определенно ускоряют процесс, но это не значит, что он будет выполнен моментально. Во всем остальном — решение хорошо работает и позволяет нормальным проектам побыстрее обновить информацию в поисковиков.

Если у вас есть что добавить по теме переиндексации страниц сайта, пишите в комментариях. Возможно, какие-то детали я пропустил.