Закрыть в ноиндекс. Блокировка индексирования при помощи атрибута noindex

Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex или заголовок noindex в запросе HTTP. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.

Внимание! Поисковый робот не обнаружит директиву noindex , если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).

Директива noindex позволяет контролировать доступ к отдельным страницам сайта, поэтому ее рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере.

Как добавить атрибут noindex

Добавить директиву noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.

Тег

Чтобы заблокировать большинство поисковых роботов , добавьте следующий метатег в раздел веб-страницы:

Если вы хотите закрыть доступ к странице только роботам Google , используйте такой код:

Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.

Помогите нам обнаружить метатеги

Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента . Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью Инструмента проверки файла robots.txt .

Заголовок ответа HTTP

Вместо метатега можно возвращать заголовок X-Robots-Tag . В ответе должно быть указано значение noindex или none . Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу.

‘Noindex’.

Предназначение тега является возможность закрыть от индексации поисковыми роботами нежелательные ссылки. В файле robots.txt можно закрыть от индексации только целые страницы или блоки, а как быть в том случае, если необходимо “спрятать” только одну-две ссылки со страницы, причем остальные оставить открытыми для поисковых роботов. В этом случае и приходят на помощь тег .

В чем разница между тегом ?

Тег был введен поисковой системой Yandex и, надо отметить, распознается и поддерживается только ей и Рамблером, о последнем, как о мертвецах, либо только хорошее, либо – ничего. Другие поисковые системы этот тег упрямо игнорируют.

Атрибут rel=’nofollow’ тега был введен поисковиком Google задолго до Yandex. В отличие от тега , этот атрибут тега не влияет на индексацию ссылки , ссылка в любом случае будет видима для поискового робота, вот только вес этой ссылки от вашей страницы передаваться не будет. Задача атрибута ‘nofollow’ заключается именно в этом – сообщить поисковой системе, что размещенной на странице ссылке передается нулевой рейтинг.

Как прописать тег и атрибута rel=’nofollow’ тега ?

анкор вашей ссылки

В отличие от атрибута rel=’nofollow’ тега тег может скрыть от зорких глаз поискового робота Yandex не только ссылку, ни и целый участок кода, причем: неважно каким он будет по размеру. Все, что стоит между и будет скрыто от Yandex. Данная отличие тега особенно ценно, потому что позволяет легко скрыть от индексации нежелательные участки кода, однако,только для Yandex и Рамблер.

анкор вашей ссылки

Здравствуйте, дорогие посетители!

Если вы попали на данную страницу, то вероятнее всего, что где-то вам посоветовали использовать тег noindex для закрытия какого-либо содержимого от индексации.

В этой статьи я вкратце расскажу, зачем он нужен и особенности его применения. Также покажу, где его применяю я на своем ресурсе.

Общие сведения

Как и в случае с атрибутом , с которым я рекомендую ознакомиться, noindex имеет значения, как в случае обычного тега, так и мета-тега.

• Тег noindex закрывает от индексации только те части, которые заключены внутри него;
• Мета-тег noindex - закрывает всю страницу от индексирования.

В первом случае, тегом оборачиваются необходимые части текста на страницах, которые не нужно индексировать. Это могут быть служебные участки текста или же какая-то конфиденциальная информация.

Тег можно использовать, как в общепринятом варианте, так и валидном, чтобы сделать код страницы валидным и убрать ошибки за счет тега. Снизу даю 2 строки, первая из которых обычный вариант, а вторая - валидный.

тут часть контента, которую нужно закрыть

Какой вариант использовать, решайте сами. Я же пришел ко второму.

В случае же с мета-тегом, noindex добавляется в шапку сайта, что запрещает всю страницу от индексации. Необходим в том же случае (служебные страницы и так далее), только уже для полной страницы.

В данном случае noindex является значением мета-тега robots (см. ниже).

Теперь по поводу использования данного тега.

Применение

Как я уже я писал выше, применять его стоит в том случае, если на странице имеется какая-то служебная информация. Также это имеет место, когда имеются неуникальные куски текста, которые пагубно влияют на продвижения страницы. Их также можно закрывать тегом noindex.

Если же взять мета-тег, который применяется ко всей странице и содержится внутри мета-тега robots (скриншот выше), то данный случай стоит применять для закрытия целых страниц от индексации. Это могут быть целые служебные страницы, не несущие никакой пользы сайту и посетителям. Например, страницы контактов, карты сайта и так далее.

Также имеет место закрытие страниц пагинации, то есть тех страниц, которые разбиваются на списки. Например, в постраничной навигации на сайте можно закрыть все страницы, кроме первой, чтобы обезопасить себя от появления дублированного контента.

Хотя, в последнее время я перестал закрывать страницы мета-тегом noindex. Связано это с произведенным мной анализом других популярных сайтов. Я увидел, что никто из гигантов не использует такое закрытие. Исходя из этого, я также убрал. Хотя раньше я добавлял noindex на такие страницы и все работало на ура. Поэтому, если у вас мета-тег добавляется на страницы пагинации, то можете не переживать.

Главное, чтобы сами контентные страницы были полностью открыти и на них не было мета-тега noindex.

Посмотреть его наличие можно в исходном коде страницы, нажав комбинацию клавиш ctrl+u.

Касаемо моего сайта, то я применяю тег и довольно часто, но не в самих статьях, а в самой верстке шаблона. Я закрываю все части, которые не несут смысловой нагрузки сайту:

• социальные кнопки;
• формы подписки;
• на страницах рубрик, архивов и поиска закрываю текст краткого анонса, чтобы не дублировать контент, ведь он доступен и в полной версии статьи.

Проверить закрытые части данным тегом можно с помощью дополнения к браузеру RDS bar .

Вот, как выглядит закрытие формы подписки и социальных кнопок при активном RDS баре (закрытые области подсвечиваются коричневым).

А вот закрытый кусок текста на страницах рубрик, архивов и поиска.

Таким образом можно закрыть очень много ненужного в своем шаблоне.

На этом можно заканчивать данный материал. Больше о данном теге ничего толкового и не скажешь. В окончание хочу сказать, что если вы хотите закрывать внешние ссылки в noindex, то закроется только содержимое ссылки, то есть ее анкор.

Если у вас остались какие-то вопросы по поводу тега noindex, то пишите их в комментариях под блоком похожих записей, которые также можете почитать. Уверяю вас, будет интересно.

Все, друзья. До связи.

С уважением, Константин Хмелев!

Многие оптимизаторы знают, что показатели ТИЦ и PR зависят в первую очередь от количества и качества ссылок на сайт. Но если ваш ресурс ссылается на другие, особенно не подходящие по тематике, то его вес падает. В этой статье будет рассказано, как правильно закрыть ненужные внешние ссылки и текст от индексации с помощью тегов .

Noindex

Тег noindex используется, чтобы запретить индексацию какой-то определенной части текста. Следует помнить, что ссылки и изображения этот тег от поисковиков не закрывает. Если все-таки попытаться закрыть этим тегом анкор со ссылкой, то под индексацию не попадет только анкор (словосочетание), а сама ссылка однозначно попадает в индекс.

Noindex запрещает индексацию части кода, находящуюся между открывающим и закрывающим тегами. Вот пример:

Этот текст Яндекс не индексирует

Естественно, его не стоит путать с мета-тегом ноиндекс, который прописывается вначале страницы, они имеют различные задачи. Если взять мета-тег , то он запрещает индексирование всей страницы и переход по ссылкам. Этот запрет можно также прописать в файле robots.txt и такие страницы поисковыми роботами не будут учтены.

Валидный noindex

Некоторые HTML-редакторы noindex не воспринимают, поскольку он не является валидным . К примеру, в WordPress визуальный редактор его попросту удаляет. Но валидность тегу все же придать можно:

Текст закрыт валидным ноиндекс

Если в HTML-редакторе прописать тег в такой форме, то он будет абсолютно валиден и можно не бояться, что он исчезнет. Тег noindex воспринимает только поисковый бот Яндекса, робот Гугла на него абсолютно не реагирует.

Некоторые оптимизаторы допускают ошибку, когда советуют закрыть все ссылки такими тегами noindex и nofollow, но об этом будет рассказано ниже. Что касается работы тега ноиндекс, то она безотказна. Абсолютно вся заключенная в этих тегах информация в индекс не попадает. Но некоторые вебмастера утверждают, что иногда все же текст внутри этих тегов индексируется ботами – да, действительно такое случается.

А это все потому, что Yandex изначально индексирует полностью весь html-код страницы, даже находящийся внутри noindex, но затем происходит фильтрация. Поэтому вначале действительно проиндексирована вся страница, но через некоторое время html-код срабатывает и тест, заключенный в этот тег «вылетает» из индексации.

Можно даже не соблюдать вложенность тега noindex – он все равно сработает (об этом рассказывается в справочной Яндекса). Не забывайте, используя, открывающий в конце исключаемого текста поставить закрывающий , а то весь текст, идущий после тега не проиндексируется.

Nofollow

Атрибут имеет задачу закрывать от поисковиков ссылки , расположенные в тексте. Он используется оптимизаторами для исключения передачи веса со ссылающегося ресурса на ссылаемый. Яндексу об этом атрибуте прекрасно известно.

Необходимо знать, что nofollow вес на странице не сохраняет – если ссылка заключена в этот тег. Вес ресурса по ней не переходит, а наоборот «сгорает» или при присутствии на странице других не закрытых атрибутом ссылок, вес будет распределяться между ними. И если на странице сайта присутствует хотя бы одна внешняя активная ссылка, то вес страницы будет уходить.

Основным отличием между nofollow и noindex является то, что нофоллоу – атрибут для тега , который запрещает передачу веса по ссылке, а ноиндекс – это тег, который закрывает от индексации нужный вам текст. Вот пример использования атрибута nofollow:

Текст ссылки

Естественно, в ссылках, которые ведут на внутренние странички блога атрибут nofollow ставить бессмысленно, хотя бывают исключения. В тех случаях, когда вес со страницы нужно передать по выбранным внутренним ссылкам, все остальные можно закрыть.

Прекрасно себя чувствуют оба тега nofollow и noindex, когда они находятся в непосредственной близости. Вот пример их использования:

Текст ссылки

Оформление ссылки, таким образом, поможет вам удержать вес страницы и к тому же поисковый бот Яндекса анкор не увидит. В заключении нужно сказать, что не нужно закрывать тегом ноиндекс ссылки, таким образом, вы запрещаете индексацию только анкора, но не самой ссылки. Для нее будет достаточно одного атрибута нофоллоу.

Секреты оптимизации сайтов заключаются не только в их продвижении по ключевым запросам, заботе о юзабилити и увеличении трафика, но и в правильном использовании html-кода. Правильное применение тегов и их атрибутов часто помогает избежать многодневной работы. Есть популярные и эффективные приемы. Наверное, в SEO-оптимизации нельзя отделить друг от друга атрибуты rel nofollow и тег noindex. Поэтому в этой статье пойдет речь и о том и о другом, а также о том, для чего они нужны, стоит ли их ставить рядом и в каких случаях ими пользоваться, а когда этого делать не стоит.

Индексирование страниц и их вес

Один из важнейших параметров попадания сайта в ТОП 10 поисковых систем - вес его страниц. Именно они попадают в первую выдачу Яндекса и Google, а за ними и интернет-порталы. Вес каждой из них повышается за счет ссылок - как внешних, так и внутренних. Понимать, как происходит процесс распределения этого параметра между страницами своего сайта и интернет-проектами, ссылки которых размещены на собственном ресурсе, важно каждому веб-мастеру.

Куда уходит вес

Рассмотрим элементарный пример. Допустим, что в главном тексте расположены две ссылки, ведущие на другие публикации. Изначально присвоим каждой странице вес равный 1. При индексации поисковый робот учтет обе ссылки. При этом вес главной страницы уменьшится на коэффициент равный 0,85. Несложно подсчитать, сколько получат публикации, на которые ведут ссылки: 0,85/2=0,425.

Алгоритм этот не является точным и официальным расчетом поисковых систем. Он изложен для того, чтобы читателю в общих чертах было понятно распределение такого параметра, как вес страницы. Когда его значение ясно, легче воспринимать информацию о том,

Скрыть ссылки от поисковых роботов

Конечно, любой сайт создается с целью получить какую-либо прибыль с него. И вес каждой страницы ценится веб-мастером. Но не размещать в своих публикациях невозможно. На это есть причины, и вот несколько из них:

Покупка и продажа ссылок приносит прибыль;

Повышается посещаемость интернет-проекта.

Существует мнение, что атрибут тега a - rel nofollow поможет скрыть анкоры от поисковых роботов и при этом вес страницы сохранится. Но это утверждение возможно только при правильном написании кода. Точное написание этого атрибута выглядит так:

>анкор.

Правильная перелинковка только придает сайту вес и повышает его ранжирование. Излишне говорить, что для внутренних ссылок нет нужды использовать a href rel nofollow.

Пример использования

Объяснение в общих чертах не всегда открывает полную картину важности применения тех или иных тегов и их атрибутов. Скрыть ссылку, не отдать вес страницы своего сайта другому. Что это? Просто жадность? Нет, это далеко не так. К примеру, на многих сайтах есть кнопки социальных сетей. Согласитесь, что их траст и так велик. Коды социальных кнопок с сохранением веса собственных страниц прописываются с использованием атрибутов target blank, rel nofollow. Первый из них после клика приведет посетителя на сторонние интернет-ресурсы, открыв еще одну вкладку браузера. Второй - не позволит уменьшить вес страницы. Например, для кнопки социальной сети Twitter это будет выглядеть так:

a rel=”nofollow”target=”_blank”href=”URL/home/.

Стоит оговориться о валидности кода - соблюдении всех технических требований html-разметки. Тег rel external nofollow не только не хуже заменяет атрибут target_blank, но и лучше воспринимается роботами поисковых систем.

A rel href nofollow, или Когда он еще нужен

Скрытия от поисковиков ссылок на «плохие» или нетематические сайты;

Того, чтобы спрятать большое количество адресов на сторонние ресурсы;

Скрытия ссылок в случае, если веб-мастер ими торгует;

Непередачи веса мегапопулярным порталам, таким как Яндекс или Google;

Скрытия ссылок в комментариях.

Nofollow спасает сайты, а особенно блоги от спама. Непроверенные ссылки, закрытые таким атрибутом, будут все реже и реже появляться в комментариях.

Noindex, и почему о нем стоит говорить

Запрет индексирования можно задать не только на ссылке внешние и внутренние, но и на отдельные элементы текстов, а также страницы целиком. Для этого веб-мастера используют тег noindex. Скрывает он только тексты. К картинкам и фотографиям не применим. Ссылки же, которые успешно прячет rel nofollow, noindex утаить от поисковых систем не может. Анкоры робот не увидит, а вот адреса проиндексирует. Noindex обычно используют для скрытия части контента:

С нецензурными выражениями;

С неуникальным текстом;

Тег, безусловно, использовать нужно. Но работает он не на каждом движке. Дело в том, что noindex не валиден, то есть не соответствует стандартам. Именно поэтому одна из самых популярных платформ для ведения блогов WordPress «выкидывает» тег из своего кода. Секрет валидности заключается в применении нескольких знаков. . Написав код в таком виде, можно быть уверенным, что страницы блога на WordPress Яндекс не проиндексирует.

Совместное использование

Стоит ли прописывать и тег, и атрибут в коде страницы? Ничего не мешает использовать noindex и a rel nofollow в паре. Тег не мешает атрибуту, и наоборот. Ставят их рядом потому, что поисковые системы по-разному видят код сайта. Например, при использовании и тег, и атрибута веб-мастер может быть уверен, что анкор робот Яндекса не распознает, как и не увидит и саму ссылку. Google же увидит текст, но вес не передаст сторонним страницам других сайтов.

Специально для новичков

Оптимизация сайтов - новая на рынке труда и интересная работа. Отсутствие системно спланированных информационных ресурсов для новичков значительно усложняет их деятельность. И естественно, молодые веб-мастера совершают ошибки. Кто-то наполняет контент безумным количеством ссылок, кто-то оставляет страницы вообще без одной. Та же картина в случае с расстановкой тега noindex и атрибута rel nofollow.

Стремление вывести сайт в ТОП поисковых систем является причиной совершения критической ошибки. Дело в том, что новички часто закрывают внешние ссылки и тегом, и атрибутом. Это в какой-то степени действительно сохраняет вес каждой страницы сайта. Но правда и в том, что те же внешние ссылки повышают доверие со стороны поисковых систем. Компенсировать потерю веса можно продвижением по низко-, и среднечастотным запросам.

Любому оптимизатору стоит помнить, что любая информация будет восприниматься читателями с большим доверием в случае возможности перейти по ссылке к ее источнику. Наверняка сами веб-мастера вряд ли возьмут на вооружение книгу или брошюру, в которой отсутствует список используемой литературы.

Все больше пользователей Интернета ориентируется на авторитетные источники. И если молодой сайт не будет ссылаться на их мнение, то ему будет намного сложнее удержать читателей, привлечь подписчиков. Само собой это негативно повлияет на оптимизацию ресурса по Так стоит ли слепо использовать атрибуты rel nofollow?

Хороший веб-мастер заботится о своем читателе. Помнит, что одна из основ Интернета - это ссылки на авторитетные ресурсы, предоставляющие достоверную информацию. Сайты, сделанные для людей, поисковики «любят». И вес страниц не единственный параметр, по которому страницы с контентом попадают в ТОП. По 800 параметрам Яндекс оценивает интернет-проекты.

И в конце концов, вес страниц имеет значение только для публикаций, получивших его от ссылок со сторонних сайтов. Как показывает опыт, доноры, оставив этот параметр ранжирования себе, не поднимаются по нему выше в «глазах» поисковых систем.