Как создать страничку на яндексе. Google Мой Бизнес и Яндекс Справочник – SMM сервисы для SEO продвижения

• Googlebot или инструмент Google для индексации страниц – это название поисковой программы (бота), обязанность которого – сбор данных о документации в Интернете для дальнейшего её включения в поисковый индекс Google.
• Процедура посещений ботами веб-сайтов (как новых, так и старых) в поисках нового и обновленного контента для дальнейшей передачи информации Google называется сканированием. Откуда бот знает, что сканировать? Этот процесс обуславливается ссылками!
• Индексация – это следующий шаг, совершающийся при обработке документов, собранных на этапе сканирования. Если контент идентифицируется как качественный, то как только обработка завершена, информация добавляется в индекс поиска Google. Рассмотрение слов на определенной странице в ходе индексации является обязательным. Кроме того, на этом этапе также происходит анализ и .

Но как же ботам удается обнаружить новый материал, будь то обновленное содержание страницы, блога или какого-либо абсолютно нового сайта? Это происходит благодаря ранее собранной в Интернете информации о страницах, проиндексированных Google, и информацией с , предлагаемой веб-мастером. Ключевой вопрос – как проиндексировать страницы быстрее?

Методы ускорения индексации сайта

• Создание Sitemap . Документ Sitemap XML представляет список страниц на сайте, хранящийся на сервере сайта. Когда вы добавляете новые страницы на сайт, он информирует поисковую систему об этом и дает инструкции относительно желаемого графика проверки изменений на определенных страницах. Вы вправе выбирать частоту. Если необходимо, можете заставить проверять ваши страницы на наличие обновленной информации (новые товары, посты или любой другой контент) каждый день. Если же нет, выберите другую частоту проверок. В случае с WordPress, установка плагина Google XML Sitemaps позволяет автоматизировать создание и обновление карты сайта, передавая необходимые данные поисковым системам. Еще один вариант – плагин Yoast SEO .
• Предоставьте Google Indexing Tool свою карту сайта . Итак, у вас есть карта сайта. Как только она будет создана, перейдите в Google Webmaster Tools в аккаунт сайта. Если у вас его нет, создайте бесплатную учетную запись в Google и зарегистрируйтесь в Webmaster Tools. Далее, добавьте свой сайт в Webmaster, откройте папку «Сканирование», выберите «Sitemaps» и вставьте ссылку на свой файл Sitemap. Таким образом вы сообщаете поисковой системе Google о новых страницах. Чтобы получить еще лучший результат, дополнительно используйте консоль Bing. Там есть возможность создать другую учетную запись, войти в систему и включить свою карту сайта с помощью Webmaster Tools. Как поисковый бот знает, что сканировать? Это благодаря ссылкам! Не забудьте запустить файла, чтобы убедиться, что все необходимые страницы разрешены для индексации.
• Используйте Google Analytics . Установка Google Analytics используется в основном для отслеживания источников трафика и анализа поведения пользователей. Но само добавление кода на новый сайт и настройка аккаунта в системе аналитики уже уведомляет Google о появлении нового сайта, который необходимо просканировать.
• Добавьте вручную . Это один из подходов, которым большинство людей пренебрегают, когда ищут возможности заставить поисковые системы просканировать страницы быстрее. Инструменты Google для индексирования не требуют дополнительных усилий или ресурсов и, безусловно, не наносят никакого вреда! Что необходимо сделать, так это, лишь войти в свой Google аккаунт и выбрать «Отправить URL» в Webmaster Tools.
• Создавайте и обновляйте свои социальные профили . Теперь, когда вы знаете, что ссылки служат для привлечения ботов на сайт, вы понимаете еще одну полезную функцию социальных сетей. Создайте профили в LinkedIn, Twitter, Pinterest, Facebook, YouTube и Google+. Используйте как можно больше соцсетей. После публикации страницы сразу публикуйте ссылку на неё в ваших соцсетях.
• Разместите ссылки на новую страницу на внешних ресурсах . Блоги, статьи, пресс-релизы, посты посетителей и другие варианты значительно ускоряют индексирование страницы.

Чтобы проиндексировать сайт в Google, нужно авторизоваться в google-аккаунте и перейти по адресу https://www.google.com/webmasters/tools/submit-url . Там вы должны будете ввести адрес главной страницы своего сайта и пройти проверку на то, что вы не робот. Собственно, этих действий достаточно для того, чтобы ваш интернет-портал индексировался в Гугле – другое дело, что для продвижения в ТОПе выдачи придется приложить гораздо больше усилий.

Теоретически возможны две ситуации, при которых индексация в гугл не пройдет:

В случае проблем с сервером. Вы увидите сообщение о том, что ваш хостинг не отвечает на запросы системы, и, соответственно, не сможете выполнить процедуру в этот конкретный момент времени. Однако вы можете повторить попытку позже, когда ваш сайт снова заработает. Впрочем, если проблемы с хостингом у вас возникают систематически, то стоит задуматься о смене провайдера. Стабильная работа интернет-портала важна и в контексте «симпатий» поисковых систем, и в связи с необходимостью удовлетворять пожелания и запросы посетителей, а не раздражать их.

При попадании под санкции. В подобной ситуации на странице появится сообщение о том, что адрес вашего сайта запрещен к добавлению на индексацию. Санкции могут быть разными, и выданы они могут быть по разным причинам. Если вы уверены, что не сделали ничего плохого за время владения сайтом – то, возможно, санкции были наложены за то время, что им управлял предыдущий собственник. Поэтому очень важно проверять сайты на бан поисковиков перед тем, как покупать их. Если же вы узнаете о санкциях уже по факту, то вы можете попробовать узнать их причину на форуме Google. Но для того, чтобы добиться индексации в системе Гугл как можно быстрее, проще будет развивать проект на другом домене.

Быстрая индексация в Google

Далеко не всегда вебмастеру хочется ждать, пока робот поисковой системы сам зайдет на его сайт и проиндексирует новые страницы. Чтобы ускорить этот процесс, можно прибегнуть к нескольким эффективным способам:

Через панель вебмастера Google. Для этого в разделе «Сканировать» необходимо выбрать пункт «Посмотреть как Googlebot». В соответствующее поле понадобится вставить адрес новой страницы, причем без адреса самого сайта (то есть из URL необходимо удалить эту часть). Далее необходимо нажать на кнопку «Сканировать», а по завершении процесса – на кнопку «Добавить в индекс». Появление сканированной страницы в индексе займет от нескольких минут до получаса. Единственный недостаток такого способа заключается в том, что его необходимо выполнять вручную, и он требует достаточно большого количества времени.

С использованием файла SiteMap.XML. Это файл, в котором содержатся ссылки на все страницы сайта, информация о датах их изменения, приоритетности просмотра. Он, во многом, определяет то, насколько быстро индексируются новые страницы. Поэтому ссылки на них нужно сразу же добавлять в такой файл, чтобы роботы находили их быстрее. При этом крайне желательно использовать динамический SiteMap.XML, а не обновлять его вручную после каждой корректировки сайта.

Путем оптимизации файла robots.txt. Этот файл позволяет задать директивы, в соответствии с которыми будут работать поисковые роботы и, соответственно, выполняться индексация сайта в системе Гугл. В контексте скорости этого процесса особое значение имеет директива Disallow, задающая те файлы, страницы и разделы, которые не должны быть проиндексированными. Благодаря ей роботы экономят время и быстрее доходят до новых страниц.

С помощью RSS-канала и социальных сетей. Увеличить скорость, с которой индексируется новый материал на сайте, можно и посредством добавления наиболее часто пополняемых разделов на RSSканал. Кроме того, вы можете добавлять ссылки на новые страницы в социальные сети (особенно полезна в контексте индексации сайта роботами Google соцсеть Twitter). Еще лучше, если вы сделаете кросспостинг из RSS-ленты в Твиттер.

Таким образом, индексация сайта в Google – это задача, для решения которой достаточно потратить несколько мгновений и сделать пару кликов. Однако быстрая индексация, и тем более – эффективное продвижение сайта в Гугл, требует гораздо более комплексной и продолжительной работы.

Привет друзья. Сегодня будет небольшой, короткий пост для вас, но очень полезный. Профи блоггинга и так наверное знают про ту фишку, о которой я расскажу в статье, но для новичков будет самое то. Речь пойдет о том как ускорить индексацию вашей новой статьи гуглом.

Как сделать так, чтобы ваша новая, свежая статья залетела в индекс мега быстро. У меня рекорд 21 секунда, жаль не заскриншотил (забыл), зато заскриншотил залет свежей статьи в индекс за 51 секунду. Тоже не плохо.

Быстрая индексация роботами — залог здоровья вашего блога. Почему важна быстрая индексация блога я объяснять не буду, наверняка вы об этом и так знаете. Давайте сразу к делу. Написали вы свежую статью. Нажали кнопку «Опубликовать» и она (статья) появилась на блоге.

Можно конечно же подождать, пока придет робот google и скушает (проиндексирует) ее, но все таки лучше самому сообщить ему о том, что на вашем блоге есть новый url адрес — ваша статья. Делается все очень просто.

У каждого из вас наверняка имеется аккаунт в google и вы знаете, что такое инструменты для вебмастеров google (ваш блог туда уже добавлен). Ок. В общем после того, как вы нажали на кнопку «Опубликовать» статью на блоге, идем в те сами инструменты для вебмастеров Google — Сканирование — Посмотреть как Googlebot .

Там вводим свой url адрес в строку (заметьте адрес начинается с рубрики, то есть http://domain.ru/ указывать не надо) и жмем — Сканировать .

После того, как адрес просканируется и google выдаст статус проверки «Готово», то жмем кнопку "

Это все! Если у вас после публикации статьи в блог и сканировании Url адреса google выдаст, что адрес он не нашел, то возможно стоит почистить кеш блога, так же иногда google бывает сам глючит, но это очень редко.

Ну так же вдогонку можете еще и в аддурилку гугла закинуть ссылку вот здесь:

Тут уже вводите собственно url ссылку целиком в строку. Вот собственно и все на сегодня. Короткая, но полезная статейка для тех, кто не знал о такой фишке. Сейчас все мои статьи индексируются гуглом в среднем за 1 минуту, даже наверное меньше, что есть хорошо!

Ну и не забываем естественно о других способах улучшения индексации. Предлагаю вам для этого почитать вот эту статью о . Всем пока. Пользуйтесь этой штукой и у вас всегда будет молниеносная индексация в гугле.

Ну и в заключение статьи у меня для вас интересное объявление:

Первый русифицированный плагин социальных кнопок под WordPress — Uptolike Share Buttons . Установка в два клика, без заморочек с кодом, бесконечное количество вариантов стилей кнопок.

А также очень полезная статистика: лайки, шары, подписки, привлечение новых пользователей и многое другое.

С уважением. Александр Борисов

Необходимо, чтобы страницы были проиндексированы. Индексация сайта - что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».

Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»

Как проверить индексацию сайта в Google и Яндекс

Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение - обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

Проверить индексацию сайта в Яндекс.Вебмастере

Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) - это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

• сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
• можно проверить индексацию еще и в Bing’е.

Как ускорить индексацию сайта

Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

Самое первое, что нужно сделать - добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта - тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос - тем лучше, ибо если сказать роботу «у нас обед, приходите через час» - робот просто уйдет, причем надолго.

Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

Быстрая индексация сайта в Яндексе

Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» - «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

Индексация картинок сайта

В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

Однако, есть один универсальный совет по оптимизации изображений - прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок - неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

Как узнать, сколько картинок проиндексировано поисковиком?

Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

Для Яндекса это будет выглядеть вот так:

А для Google - вот так

Вопросы

Как запретить индексацию сайта

Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько - технические работы на сайте, либо тестируется новый дизайн, и т.д.

Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

Самый первый, самый популярный и самый простой - через файл robots.txt. Достаточно просто прописать вот этот код:

Теперь давайте разберем, что этот код означает.

User-agent - это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка - значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

User-agent: yandex

Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй - индивидуальный список для какого-то конкретного робота. В данном случае - робота поисковой системы Яндекс.

User-agent: Yandex

С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

Второй способ - метатег robots. Для этого необходимо в код сайта добавить следующую строку:

META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

Третий способ - закрытие сайта через.htaccess

Способ тоже довольно простой - добавить в файл.htaccess следующий код:

Теперь поисковый робот не сможет без пароля получить доступ к сайту.

Это самый верный способ закрыть сайт от индексации, но появляется другая проблема - возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

Способ 4 представляет собой настройку заголовка ответа HTTP

Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом - вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.

При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.

При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:

Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

Как открыть сайт для индексации

Ответ ранее уже прозвучал - с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

Когда последний раз проходила индексация сайта

Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.

В Яндексе же сделано все еще проще - вся необходимая информация и история доступна в Яндекс.Вебмастере:

Как добавить сайт на индексацию

Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт - тем быстрее Вы получите свой первый поисковый трафик.

Добавление сайта в Google

Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl , логинимся (при необходимости), вводим URL, проходим капчу (в данном случае - ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».

Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».

Если с сайтом все в порядке, то индексация произойдет очень быстро.

Добавление сайта в Яндекс

Первым делом заходим на https://webmaster.yandex.ru/ , регистрируемся, затем переходим в «Индексирование» - «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

Добавление сайта в Bing

Тут все еще проще - идём сюда http://www.bing.com/toolbox/submit-site-url , вводим имя домена, капчу, и все - готово! Регистрация при этом не требуется.

ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

Добавление сайта в Поиск Mail.ru

Данная процедура тоже достаточно проста - переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl , регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

Затем на экран будет выведено вот такое сообщение:

P.S. Индексация сайта на Wordpress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе - ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц. Более подробно узнать о том, как правильно настроить файл robots.txt, а также как открыть или закрыть страницы от сканирования в Яндекс и Google прочтите ЭТУ статью! Также, в статье вы найдете готовые файлы robots для правильной индексации сайтов WordPress, Joomla, Wix в Яндексе и Гугле.

Индексация сайта - это процесс сканирования, во время которого поисковая система получает информацию о страницах сайта, их адресах и содержании. Индексацию выполняют поисковые боты (пауки) - специальные программы, которые ищут новые и перепроверяют старые страницы в интернете. Страницы, которые прошли сканирование и обработку, сохраняются в базу данных.

Такая база называется «поисковой индекс». Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.

Важно понимать:

• Если страницы нет в поисковом индексе - ее невозможно найти в поисковой системе.
• У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
• Поисковой бот от Google называется Googlebot.

Как проверить индексацию страницы?

Самый быстрый способ - написать в строку поиска команду site:[адрес страницы] . Такой поиск найдет все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]

Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.

Как проверить индексацию всего сайта

Для проверки индексации сайта нужно выполнить 2 простых шага:

Как добавить новый сайт в индекс поисковиков?

Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex . Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.

Узнайте больше о работе поисковой системы

Что делать, если сайт плохо индексируется?

Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:

1. Сканирование страниц.
2. Обработка страниц.

Как происходит индексация сайта

Этап 1: Сканирование

Сканирование или “обход” страниц - это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:

1. Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
2. Перечень ссылок, которые находятся на странице.

Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список - “очередь сканирования”, для дальнейшей обработки.

Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта - увеличить количество ссылок на нужные страницы.

Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию - создать карту сайта sitemap.xml и сообщить о ней поисковой системе.

Есть несколько способов создать карту сайта:

• Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com .
• Программа для сканирования сайта, с возможностью создания sitemap - xenu links .
• Библиотека приложений для создания sitemap.
• Самый популярный плагин для создания карты сайта для WordPress .

Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt

Добавление карты сайта в Search Console:

1. Зайдите в https://www.google.com/webmasters/tools/
2. Добавьте свой сайт или выберите из списка.
3. Перейдите в раздел Сканирование — Файлы Sitemap.
4. Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.

Добавление sitemap в robots.txt:

1. Зайдите в корневой каталог сайта через ftp.
2. Откройте файл robots.txt
3. Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.

Третий способ ускорить индексацию - сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.

Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.