Новый тег rel=canonical для удаления дубликатов страниц. Тег canonical поможет спастись от дублированного контента

Атрибут rel=canonical позволяет бороться с дублями страниц. Когда одно и то же содержимое доступно по разным URL, канонические ссылки указывают главную страницу. Эта страница (приоритетная) как раз и будет находиться в индексе поисковых систем и весь вес со страниц дубликатов будет перетекать на основную страницу.

Атрибут canonical прописывается на страницах дублей с указанием наиболее приоритетной страницы в разделестраницы вот так:

Данный тег прекрасно понимают все основные поисковые системы и канонические ссылки являются для некоторых типов страниц неотъемлемыми с точки зрения SEO оптимизации. Об этом всем мы с вами поговорим сегодня.

Rel canonical: что это

Когда на один и тот же контент можно попасть с помощью разных URL"ов, в индексе поисковых систем начинает участвовать сразу несколько страниц. В итоге ни одна страница толком не продвигается, так как внутренние ссылки идут то на одну страницу, то на другую.

Тоже самое касается внешних ссылок. Невозможно сосредоточиться максимально на продвижении одной страницы, а это в итоге не раскрывает потенциал страницы полностью. Или же, к примеру, покупаются ссылки на одну страницу, а на самом деле в индексе совершенно другая страница.

В результате чего сайт будет занимать позиции ниже, чем мог бы. Атрибут rel=canonical как раз позволяет нам оставить в индексе только самую приоритетную страницу. Также весь ссылочный вес передается на нее.

Чтобы в индексе была только одна страница, нужно прописать на страницах дубликатах в разделеканоническую ссылку на приоритетную:

Откуда могут появиться дублирующиеся страницы?

Если для удаления дублей, можно воспользоваться , я рекомендую в первую очередь обратить внимание на него. Если же 301 редирект не помогает или его использование неуместно, то на помощь можно позвать канонические ссылки, только будьте аккуратными.

Статья сайта относится к нескольким рубрикам

Если в вашего сайта выводится рубрика статей, то можно столкнуться с проблемой. Одна и та же статья может располагаться сразу по нескольким URL адресам. Вот у меня, к примеру, есть статья про безопасность в WordPress, она располагается сразу в 2-х категориях: "Полезное для блога" и "WordPress плагины". Поэтому доступна сразу по 2-ум разным URL адресам:

Это для нас, обычных посетителей, как будто страница одна и та же. Для поисковиков же это 2 разные страницы, которые являются дублями. И они могут включить в индекс либо сразу обе страницы, либо не ту, которую хотелось бы. Как раз в подобных случаях выручает rel=canonical, который позволяет указать поисковикам, что нужно проиндексировать только одну конкретную страницу.

В моем случае со страницы https://сайт/sozdanie-bloga/poleznoe_dlya_bloga/bezopasnost-wordpress.html прописан канонический URL на https://сайт/sozdanie-bloga/razdel-4-plaginy/bezopasnost-wordpress.html и поэтому в индексе только второй вариант страницы.

Данный rel=canonical у меня прописывается автоматически с помощью плагина для WordPress, более подробно в конце урока.

Товары интернет-магазина в нескольких категориях

Еще одно из самых популярных явлений, это когда товары в интернет-магазинах расположены сразу в нескольких категориях. В виде примера приведу товар iPhone 6s, который может располагаться сразу на нескольких страницах:

• site.ru/apple/iphone6s/
• site.ru/mobilnye-telefony/iphone6s/
• site.ru/catalog/iphone6s/

Все точно также, нужно указать со всех страниц rel=canonical на основную, приоритетную страницу. Как выбрать правильно каноническую страницу расскажу ниже.

Страница печати, разные id

Также на некоторых страницах встречаются страницы для печати. У них к URL добавляется что-то вроде ?print=true . То есть, один и тот же контент может находиться на:

• site.ru/content/post-1;
• site.ru/content/post-1?print=true.

В таком случае со страницы site.ru/content/post-1?print=true нужно прописать в область(внимание, не в body!) следующее:

Благодаря этому действию, страница site.ru/content/post-1?print=true не будет участвовать в поиске, то есть не будет проиндексирована.

Также встречаются всякие &id=xxx , с ними боремся точно так же.

Тег more

Еще один популярный тег присваиваются статьям в стиле /#more-777 , который прописывается к URL. Чаще всего такое можно заметить на шаблонах WordPress, особенно старых. Чтобы в индекс попадала правильная страница, аналогично на странице site.ru/post#more-777 должно быть прописано:

Дубли replytocom

Точно также бывает с?replytocom=777 , которые могут попасть в индекс из-за древовидных комментариев. Делаем все по аналогии. Я же для борьбы с дублями replytocom просто ставлю галочку в и данная проблема больше не беспокоит:

Партнерская программа

Когда реализуете партнерскую программу, часто много ссылок c "хвостами" начинают ссылаться на вас. Получается, что-то вроде этого: site.ru/?partner=id777. С подобных страниц тоже нужно прописывать атрибут canonical, чтобы они не попали в индекс.

Как правильно использовать rel=canonical

Как вы уже поняли, чтобы в индексе был только 1 вариант страницы, нужно со всех дублирующихся страниц проставить атрибут canonical. Вот как он должен выглядеть

Данный тег должен находиться внутри.

Как правильно выбрать канонический урл?

Каноническая страница - это та страница, которая рекомендуется поисковикам для индексации среди всех дублей. Какую же лучше выбрать?

• Если страница раньше имела только 1 url, то лучше сделать канонической ее, так как скорей всего она уже проиндексирована, также имеет определенный вес. То есть с новой страницы проставить rel=canonical на старую.
• Если же страницы создавались примерно в одно время, лучше каноническим URL сделать ту, которая находится в индексе.
• Если же несколько страниц-дублей находится в индексе поисковиков, то лучше выбрать тот, который будет продвигаться. Чаще всего тот URL, который имеет меньше всего уровень вложенности, либо уже имеет входящие ссылки.
• Если же все условия идентичные у страниц дублей, обычно берется за приоритетную страницу та, которая подходит под некий шаблон товара/статьи по сайту и предпочтение отдается единообразию.

Частые ошибки с атрибутом rel=canonical

1. Тег rel="canonical" - это не строгая директива. Он лишь предлагает основную страницу для поисковиков, то есть просто-напросто советует.
2. Нельзя использовать другой домен в данном атрибуте. Допускаются ссылки только внутри домена или поддомены.
3. Для проставления канонических ссылок необязательно иметь 100% дублированный контент, если есть небольшие различия - это нормально. Такое может быть, когда продукты расставлены в другом порядке или поисковый робот посетил страницы в разное время, например.
4. Если документ по каноническому адресу недоступен (отдает 404 ошибку, допустим), то поисковики могут проигнорировать его.
5. Также поисковые роботы могут проигнорировать данный атрибут, если на странице указано несколько канонических урлов.
6. Для указания канонического ссылки допускается использовать не полный URL адрес, а относительный путь:

   Но будьте аккуратны, можете "наломать дров", лучше использовать полный URL, с указанием вашего домена.

7. Каноническая страница должна быть индексируемой.

Запомните: rel=canonical передает вес входящих ссылок .

Почитайте еще эти статьи (официальные руководства от Яндекса и Google):

Частные случаи использования rel=canonical

Сanonical сама на себя

Меня не раз спрашивали, можно ли ставить каноническую ссылку саму на себя? Такое обычно происходит при автоматической генерации с помощью разных плагинов или силами CMS. Ответ - да, можно, ничего в этом плохого нет.

Canonical для страниц пагинации

Многие вебмастера хотят сделать rel=canonical со страниц пагинации (site.ru/category/page/2) на первую страницу (site.ru/category). Это неправильно, как я считаю. Все-таки здесь встречаются не полные дубли, такие страницы пагинации лучше закрыть с помощью:

В WordPress это можно сделать автоматически, поставив галочку в плагине WordPress SEO by Yoast:

Товары

Если товары разделены на несколько страниц (их много и сделана разбивка на несколько страниц), то лучше основным каноническим урлом сделать вывод всех товаров, которое обычно выводится с помощью добавления к URL что-то подобное этому ?all=products .

Многие SEO плагины для WordPress очень хорошо дружат с атрибутом rel=canonical. Мой любимый и, как я считаю, вообще ничего не требует. Просто достаточно его активировать и необходимые канонические URL сами прописываются.

В некоторых других SEO плагинах в настройках нужно просто поставить галочку напротив "Канонические страницы" (или еще что-то подобное).

То есть по умолчанию, если статья на моем блоге присвоена сразу к нескольким категориям, то автоматически прописывается каноническая страница..html у меня прописан следующий атрибут rel=canonical (обратите внимание, это другой URL):

По умолчанию, благодаря плагину Yoast SEO, если пост располагается сразу в нескольких категориях, в индекс же попадает только один вариант.

Выводы

Я надеюсь, что вполне понятно, смог объяснить, что такое атрибут rel=canonical и как им пользоваться. Настоятельно рекомендую ознакомиться вам еще с этим уроком: . Все эти действия с rel=canonical, 301-ым редиректом, meta name robots, файлом robots.txt позволят сделать выдачу вашего сайта "чистым".

Я за "чистый" индекс без дублей, служебных страниц и пр. ненужных вещей. Благодаря чистоте SEO продвижение сайта будет проще и правильнее.

И еще: чтобы не было подобных заморочек я рекомендую будущие ваши сайты создавать без указания категорий в URL статей/товаров. То есть пусть будет что-то вроде:

• site.ru/statya.html (для блогов);
• site.ru/catalog/iphone6s (для интернет-магазинов).

Отдельное спасибо за ретвиты и репосты, мои друзья. Обязательно жду ваших мыслей в комментариях.

В идеале должна быть одна версия для каждой страницы. Но на деле часто бывает, что одинаковый контент присутствует в нескольких местах одного сайта, а также на других ресурсах. Чтобы решить проблему дублирующего контента было разработано решение под названием «элемент канонической ссылки», больше известное как атрибут rel=»canonical» .

Как rel=»canonical» может помочь продвижению?

Этот атрибут устраняет проблемы, связанные с дублирующимся контентом. Устанавливает предпочтительную версию страницы и передает сигналы, такие как ссылки, на эту версию страницы. Объединяет дубликаты контента, которые могут появляться по следующим причинам:

• HTTP и HTTPS
• одни и те же материалы в субдомене www и по обычным адресам http
• параметры и многоаспектная навигация
• идентификаторы сессий
• завершающий слэш
• индекс/страницы по умолчанию
• версии альтернативной страницы, такие как m. или AMP-страницы или версии для печати

Где прописать атрибут rel=canonical

Большинству веб-мастеров известно, что атрибут добавляется в тег head:

Но не все знают, что canonical может также отправляться в заголовок HTTP:

HTTP/1.1 200 OK
Link: ; rel=»canonical»

Известно, что Google отдает предпочтение HTTPS-страницам в качестве канонических, а не их аналогам HTTP; исключение - случаи, когда присутствуют противоречивые сигналы, согласно справке Search Console:

• Страница HTTPS имеет недействительный сертификат SSL.
• Страница HTTPS содержит небезопасные зависимости.
• Доступ к странице HTTPS запрещен в файле robots.txt, а к странице HTTP – нет.
• Страница HTTPS выполняет переадресацию на страницу HTTP.
• Страница HTTPS указывает на страницу HTTP с помощью атрибута rel=»canonical».
• Страница HTTPS содержит метатег noindex для роботов.

Редкий случай, но все же возможный, когда из-за ошибок в коде раздел заголовка заканчивается прежде, чем это должно быть. При этом canonical может быть в теле контента, где поисковая система его никак не ожидает найти. Еще хуже, когда большинство инструментов (таких как Screaming Frog или Deep Crawl) эту ошибку не фиксируют. Проблему можно установить только с помощью программного интерфейса DOM (объектная модель документа) - например, когда используется Inspect для Chrome Dev Tools

Рассмотрим канонический атрибут в Home Depot на скриншоте ниже. Можно видеть, что раздел заголовка закончился, и часть контента, которая при рассмотрении источника находится в заголовке, попадает в тело, когда рассматривается DOM.

Взаимодействие атрибута canonical с другими

С атрибутом canonical можно легко ошибиться. Допустить, например, грамматическую ошибку, поставить завершающий слэш, в особенности когда есть еще нумерация страниц и . Если индексируется страница отличная от той, что значится в теге, страницы не будут объединены должным образом. Например, канонический элемент устанавливается на второй странице нумерованного списка для URL первой страницы. Атрибут canonical не следует использовать вместе с noindex.

Другие способы применения canonical

Атрибут canonical можно использовать для альтернативных версий сайта (мобильная и AMP-версия). Для не нужно специально менять эти атрибуты.

В этой статье мы рассмотрим канонические ссылки в html (атрибут rel="canonical"). Поговорим зачем они были введены и для чего использовать. Скажу сразу, что появились они в 2009 году в компании Google.

Что такое каноническая ссылка

Дубли на сайте - страницы содержащие одинаковый контент , но имеющие разные адреса URL.

Чаще всего дубли возникают в результате недоработок движка сайта . Такие проблемы есть почти у каждого сайта на CMS. Ничего страшного в этом нету, если их грамотно обработать. Бороться с дублями необходимо прежде всего для того, чтобы занимать хорошие места в поисковой выдаче. Как известно, дубли негативно влияют на траст сайта в целом, а следовательно и на его позиции.

Для борьбы с дублями существует несколько способов:

• robots.txt (все про robots.txt)
• 301 редиректом (как сделать 301 редирект)
• 404 страницей (404 ошибка - как правильно настроить)

Однако есть и четвертый способ решения этой проблемы - использование атрибута rel="canonical" .

Атрибут rel="canonical" - как пользоваться

... ...

Этот атрибут прописывается в заголовочных тегах . На всех одинаковых страницах (дублях) нужно указать адрес главной страницы (основной). Ссылки в href="" и есть канонические ссылки.

Например, если на сайте есть одинаковые страницы

site/catalog/tovar site/catalog/tovar?sort=abc site/catalog/tovar?sort=price

Для уточнения какая из этих страниц является главной достаточно написать на каждой странице:

Тем самым показывая поисковой системе, что адрес основной страницы является - site/catalog/tovar .

Ответы на часто задаваемые вопросы

Да, стоит. В рассмотренным примере, можно было пользоваться только каноническими ссылками или robots.txt. Можно совмещать эти два способа.

При использовании нужно быть осторожным, чтобы не давать роботу ложные рекомендации на тех страницах, где это делать не нужно.

Это плохо, но поисковый робот тогда самостоятельно разберется, какую страницу оставить главной. Лучше не допускать таких противоречий.

Из справки Яндекса:

• Документ по каноническому адресу недоступен для индексирования
• В качестве канонического адреса указывается URL в другом домене или поддомене
• Вы указали несколько канонических адресов

Например, /stranica/123 ссылается на /stranica/12, а эта в свою очередь на /stranica/. Поисковый робот может проигнорировать такую конструкцию.

Сложно ответить и рассмотреть все варианты в паре предложений. Дадим общие рекомендации. На мой взгляд нужно смотреть на привлекательность URL (или точнее на ЧПУ). К примеру, если есть страница /cat/2323fdfds34.html и страница /cat/rel-canonical. Очевидно, что второй адрес гораздо предпочтительней.

Если все не так очевидно, то стоит выбирать менее вложенные статьи в каталоги и менее короткие URL. К примеру /cat/podcat/podpodcat/str.html лучше заменить на /cat/str.html

И последнее: если какая-то страница уже долго время существует и хорошо ранжируется, то все новые "дубли", лучше ссылать на нее. Смена адреса путем rel canonical, конечно, не должна повлиять на позиции, но лучше не рисковать, если они и так высокие по этому запросу.

В атрибуте rel canonical можно использовать ссылки только внутри домена или поддоменов. Нельзя ссылаться на внешние сайты.

Да можно. Смысла в этом нету, но и плохого тоже.

Канонический тег (rel=»canonical») является довольно важным инструментом поисковой оптимизации. Зачастую он даже лучше, чем 301 редирект при работе с дублированным контентом.

Разберём более подробно этот тег.

Что плохого в дублированном контенте

Дублированный контент — это два одинаковых по своему содержанию документа. Когда Google видит дубль, он старается исключить его из индекса, т.к. по идее пользователь не захочет видеть один и тот же документ в поисковой выдаче несколько раз. Да и к тому же самому поисковику не хочется постоянно обрабатывать тысячи и даже миллионы дублированных страниц, тратя на это свои производственные мощности.

Проблема для веб-мастера состоит в том, что если одна и та же информация находится на разных страницах, то в выдаче будет только одна из этих страниц. Но url, который выберет Гугл, не всегда является наиболее оптимальным для пользователя, и не всегда является первоисточником.

Пока поисковик не определит первоисточник, результаты выдачи не будут удовлетворять целям первоначального автора контента. В данном случае канонический тег имеет ограниченную пользу, поскольку те, кто крадут ваш контент, скорее всего, не будут ставить теги.

С другой стороны, если дублирование происходит на вашем сайте, то тег будет как нельзя кстати. Даже если на вашем сайте будут ссылки на дублированный контент, ценность для выдачи будет составлять только страница-первоисточник. Таким образом, даже при наличии ссылок на несколько дублей, значимой для Google будет считаться только одна из этих страниц. И не пострадает.

Естественно, это не лучшее решение с точки зрения SEO. Но это не приведёт к каким-либо санкциям со стороны Гугла.

Что такое тег rel=»canonical»

Тег имеет следующий синтаксис: Таким образом Google и Bing поймут, что все дубли ссылаются на канонический адрес, указанный в теге. Гугл имеет чёткое представление по поводу использования данного тега:

Да, rel=»canonical» должен использоваться только для выбора предпочитаемой страницы при дублировании (незначительные различия в содержании допустимы).

Другими словами, используйте его только для борьбы с дублированным контентом. При использовании его для других целей вы можете быть уличены в поисковом спаме.

Проблемы дублированного контента

Реализуйте теги надлежащим образом на вашем сайте. Это убережёт вас от проблем дублированного контента, некоторые из которых связаны с системами управления сайтами (CMS):

1. Tracking Codes . Некоторые системы требуют добавления переменных в конце url-адреса для обратных ссылок на ваш сайт. Формат может быть такой: www.example.com?tracking-variable или такой: www.example.com/example.htm?tracking-code. Проблема заключается в том, что поисковые системы разделяют адреса, даже если те различаются всего одним символом. Хотя Google и Bing и имеют в своём распоряжении технологии, которые помогают определять такие адреса, до сих пор возникает множество ошибок при их обработке. Интересно будет отметить, что некоторые ссылаются на ваш сайт, дабы получить взаимную обратную ссылку, используя данный метод. Канонический тег защитит вас от этого.
2. Приставки к url . Как мы уже уяснили, любые два адреса, отличающиеся хотя бы одним символом, рассматриваются как отдельные страницы. И есть несколько случаев, когда приставки к адресам могут привести к дублированию контента. К ним относятся, например, дополнительный язык сайта (русская и английская версии страницы) или создание движком дополнительных страниц (ярко выражено в WordPress).
3. Разбивка на страницы . Это когда сайт разбивается автоматически на несколько страниц с одинаковым контентом. Например, если у вас интернет-магазин и продукцию можно отсортировать по цвету товара или по его цене (при этом для результата сортировки генерируется отдельная страница с одинаковыми описаниями товаров).
4. WWW . По большей части это не проблема, т.к. Google обычно правильно определяет адреса с www и без. Но до сих пор бывает такое, что поисковик индексирует как бы две версии сайта (example.com и www.example.com). В результате половина вашего контента проиндексирована с www, а другая половина — без www. Обычно это дело прописывается в robot.txt, но и канонический тег тут тоже может помочь.
5. Если невозможно реализовать 301 редирект . Как ни странно, но в некоторых случаях у веб-мастера нет возможности реализовать 301 редирект, например, из-за ограниченного доступа к серверу. Канонический тег в данном случае является альтернативой, с той лишь разницей, что исходная страница будет продолжать существовать.

Но всё-таки, в соответствии с политикой Google, канонический тег это рекомендация, а не обязательное для исполнение правило. Эта опция поможет владельцам сайтов самостоятельно указывать, какую страницу Гугл должен считать канонической. Таким образом, для Google будет проще определить, какую страницу необходимо включить в индекс при дублировании контента.

Если ваш сайт имеет идентичный или очень похожий контент, доступный по разным URL , тогда новый формат позволит указать тот URL , который должен возвращаться в поисковой системе. Также можно быть уверенным, что все характеристики, такие как ссылочный вес и т.д. передадутся на нужную версию адреса.

Теперь вы можете добавить этот тег, для указания вашей версии адреса, внутри тега на страницах с дублированным контентом:

Таким образом, Google поймет, что все дубликаты ссылаются на канонический адрес, указанный в теге. Дополнительные свойства адреса, такие как PageRank и связанные сигналы также перенесутся с дублированных страниц на указанную.

Подобный тег будет полезным в основном при использовании различных движков (phpBB, IPB , WordPress, и т.д., напр. сайту ipbskins.ru – разработка дизайна сайта на IPB , приходится использовать длинный robots.txt в целях избежания дублированного контента), создающих множество похожих страниц, например, это могут быть страницы:

печатной версии статьи:
http://site.ru/article01.html?print=true
текстовой версии статей для моб. телефонов:
http://site.ru/lofiversion/article01.html
дублированные из-за недостатка движка:
http://site.ru/articles/?id=1&category=new
http://site.ru/articles/?id=1&tag=keyword
и ряд других…

Этот стандарт может быть адаптирован любой поисковой машиной при индексации сайта.

Для популярного блог-движка WordPress уже разработан плагин canonical , вставляющий тег на нужные страницы. Другие популярные движки для блогов, форумов, интернет-магазинов и т.д. также в ближайшем будущем расширят свою функциональность (следите за обновлениями).

Ответы на некоторые популярные вопросы по тегу:

Является ли rel=“canonical” подсказкой или директивой?
Это подсказка, которую мы берем во внимание и во взаимодействии с другими сигналами вычисляем наиболее релевантную страницу для отображения в поисковых результатах.

Могу ли я использовать относительный путь для указания canonical, например так: ?
Да, относительные пути распознаются также, как и в обычном теге . Даже если вы введете тег с ссылкой на документ, тогда относительные пути будут считаться в соответствии с базовым URL .

Это нормально, если канонические адреса содержат не полностью дублированный контент?
Мы позволяем небольшие различия, такие как порядок сортировки в таблице продуктов. Также мы понимаем, что канонические адреса могут парситься роботом в разное время, поэтому все это нормально.

Что если rel=“canonical” возвращает 404 ошибку?
Мы продолжим индексировать ваш контент и использовать эвристический подход, для определения канонического адреса, однако, мы рекомендуем, чтобы вы использовали существующие URL в качестве канонических.

Что если rel=“canonical” ещё не проиндексирован?
Мы стараемся достучаться до канонического URL быстро. Как только мы его проиндексируем, тогда сразу же перерассмотрим подсказку rel=“canonical”.

Может ли канонический урл содержать редирект?
Да, вы можете указать редирект, в этом случае поисковая машина обработает просесс перенаправления как обычно и попытается проиндексировать новый адрес.

Что если я имею противоречивые сигналы для rel=“canonical”?
Наши алгоритмы мягкие: мы можем следовать по каноническим цепям, однако, мы настоятельно рекомендуем, чтобы вы на страницах указывали единственный канонический адрес, чтобы быть уверенным в оптимальном результате канонизации.

Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?
Нет. Чтобы мигрировать на другой домен, более подходящ. В настоящее время Google поддерживает канонизацию внутри поддоменов или внутри одного домена. Таким образом, владельцы сайтов могут указать www.example.com вместо example.com или help.example.com , однако, не могут указать example.com вместо example-widgets.com .

Звучит интересно, но могу ли я увидеть пример?
Да, wikia.com помогла нам, как трастовый тестер. Например, вы замтетите, что исходный код по адресу http://starwars.wikia.com/wiki/Nelvana_Limited содержит rel=canonical http://starwars.wikia.com/wiki/Nelvana .

Два адреса почти идентичны, исключая то, что Nelvana_Limited, первый URL , содержит короткое сообщение возле заголовка. Это хороший пример использования тега в будущем. С rel=canonical, свойства двух адресов обьединяются и поисковые результаты отображают нужную версию.

Если у вас есть какие-либо вопросы по использованию нового тега, вы можете их задать в комментариях на официальном блоге Google для вебмастеров .

1. Помимо избавления от естественного дублированного контента (из-за недостатка движка), мы также избавляемся от дублированного контента искусственного, когда конкуренты нам пытаются насолить, добавляя в страницы с произвольными параметрами в URL .

2. Теперь нет надобности использовать robots.txt для запрета индексации таких страниц, как “печатная версия” и других дубликатов (напр. в WordPress нужно было закрывать путь /teg/) и угождать каждому поисковику отдельно (есть общие стандарты для robots.txt, но есть также и ряд особенностей работы каждого поисковика с этим файлом, поэтому мы раньше не могли предусмотреть запрет индексации некоторых страниц сразу для всех ботов).

3. Мы теперь имеем хороший инструмент для ускорения индексации сайта 🙂