Robots txt запретить индексирование. Рекомендации по настройке файла robots txt

Очень понравилась статья, эта тема вообще слабо освещена в интернете, прямо как подарок.Поэтому на Вас последняя надежда:), вопрос.Я новичок, создала сайт на конструкторе яндекса на домене http://хххнарод2.ru, у меня не было другого сайта вообще и я возможно неправильно поняла, что обязательно надо сделать его основным.Сделала основным, сайт доступен по адресу::http://хххнарод.ru.И я считаю, что народ 2 нигде в инете не участвует, это конструкторный адрес.Это было в начале августа.На днях у меня в метрике появился второй счетчик на адресhttp://хххнарод2.ru, и я поняла, что у меня два одинаковых сайта с двумя адресами или один сайт имеет два адреса.Показания в счетчиках абсолютно одинаковы.Зачем мне нужен второй счетчик?Как быть с гуглом, он уже не один раз показывает, что на мой сайт по адресу http://хххнарод2.ru есть ссылки в сети, может надо народ2 оформить в поисковиках как зеркало?На яндексе наверное не надо, он думаю, сам знает что это за народ2? Извините, что задаю возможно детские вопросы, но ответьте пожалуйста.
С большим уважением

Действительно сайт на Народе доступен по всем адресам (народ, народ2, свой домен). В принципе со временем поисковик сам зазеркалит второй сайт. Только не факт, что зеркалом посчитает тот, что Вам нужен.
Поэтому нужно закинуть в корень сайта файл "robots.txt" (прикреплён к письму) к котором нужно прописать директиву "Host: ваш основной домен" - это будет указывать искалкам на основной сайт.
У меня сделано так (см. http://buildacomputer.narod.ru/robots.txt):
User-agent: *
Disallow:
Host: buildacomputer.ru
Кроме того, если речь о гугле, то сделайте аккаунт, где в инструментах вебмастера авторизируйте сайт, как свой. Ссылка https://www.google.com/accounts/ManageAccount.
Но, всё таки, зарегистрируйте отдельный домен и привяжите сайт на него. Это не дорого но, если Вам сайтостроительство понравится, Вы, наверняка, захотите переехать на платный хостинг и сделать на нём основной сайт. В таком случае, все ссылки, которые будут стоять на Ваш домен в сети, будут работать потом на него.

Продолжение
6. >Как определить сколько дискового пространства мне надо на платном хосте, если сайт делать на вордпресс, по количеству страниц, пока 100, графики мало, будет немного звуковых файлов небольших прослушать, языки.? >
Думаю, до 500 мегабайт с головой, а то и 200 достаточно, для начала. Потом посмотрите. В действительности, много места занимает статистические данные и бэкап от хостинга.

7.На том дисковом пространстве, что агава предлагает где 1,4 гига могу ли я расположить 2-3 сайта, может знаете.?
Если я правильно понял, речь о тарифе "Тариф Блог"? Так там только один сайт на предустановленном движке WordPress. Вы не имеете возможности использовать ФТП-протокол доступа к содержимому - можно только применять плагины и наполнять контентом. Хотя для начала - это вполне хороший и недорогой вариант для блога.
Мой сайт на тарифе "Normal". Там 5 сайтов и 2 ГБ. В принципе, немного дорого, но вполне хороший хостинг - все скрипты, что я ставил, работают.
Вообще посмотрите хостинги на ХостОбзоре , посмотрите о них отзывы по форумам. Если хотите бесплатно открыть свой блог то есть ещё популярная платформа Блоггер от Гугла. Сам не пользовался.

8. > Можно ли управлять своим сайтом на платном хосте с компьютера в чужой стране, находясь в отпуске например?>
Естественно, можно везде, где у вас будет доступ к интернету. Правда, желательно, со своего компьютера - для защиты доступа к паролю.

Здравствуйте я открыла свой сайт в народехотела выкладывать туда свои рефераты загрузила их вконструкторе сайтов по кнопке управление файлами
но при просмотре после опубликования их на страницах не видно
попробовала с помощью кнопки текст написать название реферата чтобы при нажатии на него открывался реферат тоже ничего не получилось
в будущем хотела через смс их продавать всетаки мой труд что делать как все по уму сделать

Так их и не будет видно. На них нужно ссылки указать на вашей странице. К тексту названия нужно привязать ссылку в редакторе или самой использовать html-код для создания ссылки.
Касаемо продажи рефератов по смс. В принципе это возможно хотя и сомнительно в успехе. Сейчас существуют программы для создания архивов для открытия которых нужно послать СМС и получить код. Но, это нужно ещё и с СМС-биллингом иметь дело. Кстати видел где-то в сети сервисы, которые занимаются продажей рефератов, которые им предоставляют авторы. Вроде отчисления с каждой продажи. Или размещайте файлы на файлообменники, но это нужно большое количество скачиваний для заработка... Быть может Вам стоит на Адвего попробовать поработать?

В любом случае, если есть постоянная аудитория нужно постараться, чтобы все страницы имели теже адреса, если вы решитесь на радикальные меры.

Несмотря на то, что Дом советов располагается на бесплатном хостинге системы UCOZ, мы сегодня рассмотрим вопрос о создании своих сайтов в Яндексе.

Все чаще у многих пользователей появляется потребность в наличных деньгах и рождается идея замутить своё дело. Совершенно неважно для кого и почему у людей бывает необходимость в наличии интернет-ресурса, главное то, что если она возникает, то чаще всего они начинают искать возможность сделать это легко, быстро и, очень хотелось бы, чтобы бесплатно.
В кладовых глобальной паутины заложено такое количество разнообразных вариаций на эту тему что, оказывается, очень сложно найти то, что действительно нужно. Иногда на поиски уходит столько времени, что его становится просто жалко. И вот на помощь нам, страждущим, приходит такой всем знакомый и любимый яндекс.

«Если вас нет во всемирной сети, то вас нет в бизнесе» — эта фраза стала девизом компаний уже давно. Но только ли ради денег для организации своего бизнеса нужен в интернете сайт? Скорее всего нет. Сегодня, многие делается бесплатно на разных просторах. Давайте узнаем какже можно это воплатить в жизнь. Итак опытные программисты делятся навыками как создать свой сайт в интернете быстро с чего начать и где золотая жила? Читайте об этом прямо сейчас. Лучшие возможности предоставляют современные социальные сети. Такие гиганты facebook.com и vkontakte.ru могут предложить своим пользователям удобные инструменты для создания страниц своей фирмы. Это реализовано с помощью групп и профилей.

Преимущества работы с соц сетями:

— создание группы совершенно бесплатно.

— это огромное количество участников социальных сетей, которые имеют возможность получать и просматривать информацию о вас и о вашей компании. На Яндексе существует конструктор, позволяющий собирать свой сайт, будто из кубиков, конструируя такую систему, которая нужна именно вам. Нужно немного денег на открытие своего дела, — гарантированно поможем всем.

— все сильнее и сильнее растущая популярность социальных сетей. Таким образом получается, что социальная сеть — это новая структура в интернете, где можно всецело реализовать свой проект. Самое главное преимущество наличия профиля в социальной сети — это количество той аудитории, до которой будет доведена информация.

Что еще можно предпринять для создания собственных сайтов в интернете бесплатно? Существуют хостинги, которые предоставляют пользователям возможность безвозмездного предоставления услуг, здесь не потребуют денег. На хостинге хранятся данные на удаленном от вашего места проживания, сервере. В идеале, если вы хотите сделать своё, то необходимо использовать специальные мощные компьютеры, которые именуются серверами. Именно с такого мощного компьютера и начинал работу Марк Цукерберг — основоположник социальной сети facebook. Но у нас другая ситуация. Мы стремимся раскрутить сайты для заработка, который будет работать на удаленном компьютере.

Также есть масса предложений с доменом ru бесплатно ресурсах. Некоторые из них предлагают даже некоторые элементы управления и возможность создавать внешний вид. Все технологии построения структуры реализованы в режиме онлайн и снабжены соответствующими инструкциями. Эти инструкции доступны для понимания даже самым неопытным пользователям. К сожалению, возможности оформления ограничены, так как настоящая разработка уникального контента — это дело, которое требует глубоких знаний в различных языках программирования и технологий. Таким образом, только очень хороший программист способен сделать яркий, красивый, уникальный сайт с нуля.

Один из самых популярных человеческих ресурсов, который позволяет работать бесплатно в России, — это Народ.ру. Там можно в течении 15 минут создать небольшую информационную страничку, которая будет рассказывать о вас в интернете.

Интересное предложение делает ресурс WIX.com. Данный англоязычный помощник специализируется на необычных тематиках, которые обладают красивыми визуальными примочками на нём каждый получит ответ как создать сайт в яндексе бесплатно достаточно только посмотреть на некоторые работы и вы поймете, что это то, в чем вы нуждаетесь.
Все прекрасно знают его как поисковик, а оказывается, кроме этого он, заботясь о нас, предлагает такую замечательную возможность, как быстро замутить своё дельце.

Здесь можно менять цветовое решение, можно загружать логотип и картинки. Если хотите, можете поменять шрифт текста, который будет о чем-то информировать посетителей ваших страниц. Сделать быстро сайт на Яндексе, действительно не составляет труда, даже людям несведущим в этих вопросах. Потратив буквально несколько минут, вы легко сможете заполучить такой ресурс, который отвечал бы именно вашим потребностям. Он будет иметь доменное имя третьего уровня, что не будет стоить вам абсолютно ничего, однако при всем этом вы сможете сразу разместить там рекламу Яндекс директ и кроме всего прочего, зарабатывать на нём деньги, при том, что всем другим ресурсам доступно это только при большой посещаемости.

Сделать на яндексном проще, чем в других подобных системах хотя бы еще и потому, что если у вас есть здесь почтовый ящик, то автоматически есть и доменное имя для вашего сайта, совпадающее с именем ящика. В любой другой системе вам придется поломать голову над тем, какой бы адрес все-таки выбрать для вашего личного интернета-ресурса.

Яндекс продолжат удивлять и баловать пользователей своей системы. Не так давно была проведена модернизация всей «мастерской» и теперь это еще проще, понятней и доступней.
Сайт на «народе» скоро станет признаком времени, столько их там уже есть и сколько еще будет рождено этой замечательной платформой! Это совсем не удивительно, Яндекс предлагает неограниченное дисковое пространство, то есть вы можете загружать столько файлов, сколько посчитаете нужным, а вариации на тему структуры, позволяют создавать самому интернет-ресурсы, совсем не похожие друг на друга. Возможность использования разнообразных вложенных модулей еще больше расширяет горизонты, а огромное количество инструкций в ассортименте выложенные в интернете самому помогут вам справиться с этой и без того, несложной задачей в два счета.
Вот такой замечательный наш Яндекс, придумал даже как нам сайты делать легко и просто, позволяющих получить много денег. Ну как его не любить?

Наверное действительно стоит сначала потренироваться в создании сайта на яндексе, т.е. домене третьего уровня. Такой сайт даст возможность начать свое творчество без знаний HTML и финансовых вложений.

Хотя все же вам придется проставлять ссылки на файлы, фотографии и другие страницы вашего сайта. Это мы тоже разберем. Сервис создания сайтов в рунете называют народом, отсюда и адрес http://narod.yandex.ru/ и синонимы: создать сайт на яндексе или создать сайт на народе одно и то же.

Для начала вам необходимо завести аккаунт в яндексе, просто зарегистрируйте почтовый ящик на yandex.ru . Обязательно подумайте при выборе логина, позже он станет именем вашего домена третьего уровня. Потом набираете в браузере narod.yandex.ru и попадаете на страницу регистрации бесплатного домена третьего уровня от яндекса..

Входите под своим логином и паролем, и начинаете создавать сайт. Сначала выберите шаблон попроще, прописываете название, выбираете шрифт, пишете текст, выбираете цвет фона, ссылок и т.д. Не бойтесь допустить ошибку, потом все равно будете редактировать и «доводить до ума». Если вы уже определились, как будет называться следующая страница, то можете сразу создать на нее ссылку, например:
http://вашеимя.narod.ru/2страница.html . Пример моей ссылки Пример(http://bracs-nn.narod.ru/primer .html) где primer .html — имя второй страницы.

При нажатии «готово» переходим к просмотру главной страницы.

не забываем ввести имя второй страницы

Далее опять пишем текст и не забудьте поставить ссылку со второй страницы на главную. Сссылка на главную страницу (со второй страницы и адрес вашего бесплатного сайта) http://вашеимя.narod.ru/index .html . Обязательно главная страница должна называться index.html . Вот быстренько сляпал для примера
http://bracs-nn.narod.ru/index.html
где http — протокол передачи данных, bracs-nn — бесплатное доменное имя третьего уровня (ваш логин на яндексе), narod — домен второго уровня (принадлежит яндексу). (см. рис. 2)

При входе в свой аккаунт на народе вы попадаете в меню, из которого можно производить любые действия, и ставить на сайт предлагаемые сервисы. Но лучше еще потренироваться. Переходим в раздел «Управление файлами и HTML редактор».

Попадаем в меню, где можно создать папку, страницу, загрузить файлы по протоколу FTP. А для редактирования страницы жмем «свойства».

попадаем в меню редактирования, где вы сможете установить счетчик, изменить имя и описание, создать каталог, редактировать страницу по шаблону. Текстовый редактор HTML теги не поддерживает.

Как подключиться к Народ.Ру по FTP?

В командной строке браузера или программы FAR (русский, english) нужно набрать следующее: ftp://ваш_логин_в_Яндекс-Паспорте: ваш_пароль@ftp.narod.ru

Например, если ваш логин в Яндекс-Паспорте — myname, а пароль к нему — 12345, то строка должна быть такой: ftp://myname:[email protected]. Когда соединение будет установлено, в окне браузера появится список файлов вашего сайта.

Так же можно подключиться используя методы описанные на страницах » Как разместить сайт » и » Подключение к серверу по FTP без программ » см. меню.

Если вам что то не понятно, пишите по форме обратной связи «задать вопрос», сделаю дополнение или подсказку.

P.S. САервис переехал на юкоз, где я лично не стал бы создавать сайт. Но вы можете создать блог на яндексе : регистрируете почту, потом пишите адрес http://ваш-ник.ya.ru/ и создаете страницу

Для создания качественной карточки вашей организации в этих сервисах изначально надо подготовиться:

• Подобрать ключевые слова для названия, по этим ключам вы будете показываться в органической выдаче карточек организаций.
• Собрать максимально полные данные о вашей компании – фотографии, логотип, часы работы, телефоны, социальные сети в которых вы зарегистрированы, способы оплаты с которыми вы работаете, направления деятельности вашей фирмы, адрес вашего веб сайта, список ваших услуг или товаров, контактные данные магазина/офиса, особенности/фишки. После необходимо будет внести все эти данные в профиль и заполнить его на 100%

Подойдите к вопросу серьезно, так как это карточка будет вашей визиткой, представляющей вашу компанию на картах и в панели знаний.

Пользователь может не попасть на ваш сайт, но есть большая вероятность что он увидит карточку вашей организации. Первое впечатление зависит от информации, которую вы укажете в своем профиле.

Давайте по подробнее рассмотрим, каким образом рубрики/категории, которые мы выбрали при заполнении профиля компании, влияют на продвижение и просмотры нашей организации. Также рассмотрим, как название и фотографии организации влияют на взаимодействие клиентов с панелью знаний и другими контактными данными.

Например, панель знаний детского выглядит следующим образом:

Для яндекса:

Для гугла:

Из статистики Яндекс Справочника мы получаем следующие данные:

316 кликов было за 30 дней, учитывая, что в радиусе 1км есть 23 конкурента. При этом, всего из 2862 запроса по рубрикам и 1998 показов. В итоге, CTR больше 15%. Все эти клики получены совершенно бесплатно, стоило лишь один раз заполнить карточку товара.

Еще один пример:

Рубрики подобраны таким образом, что мы имеем практически миллион запросов, но показов и кликов практически столько же, сколько в предыдущем примере. О чем это говорит? О том, что рубрики выбраны неправильно или карточка заполнена не точно. Помните, что лучше выбрать узкую направленность и стать абсолютным лидером в этой нише, чем погнаться за миллионами просмотров по разным рубрикам и особо ничем не отличаться от конкурентов.

Как часто будет показываться организация и по каким запросам – зависит от того, какие рубрики были выбраны, во время заполнения профиля компании.

Например, запрос «Детские коляски» будет автоматически привязан к рубрике «Детский магазин», запрос «где купить телефон» будет привязан к рубрике «Интернет-Магазин». У каждой рубрики есть свой список запросов, по которым будет показываться организация в поисковой панели знаний. Поэтому, на сколько часто мы будем показываться первыми, зависит от рубрик, а во вторую очередь от того из какого места территориально пользователь набирает запрос.

В радиусе 1 км от места нахождения пользователя выбираются все бизнесы рубрики, которые подходят под запрос пользователя в картах. Так от местонахождения человека и зависит ваша популярность – ваш бизнес может вообще не показаться на карте, если человек находится очень далеко, и вы можете показаться, как один единственно возможный вариант, если вы расположены в промышленной зоне, где нет никаких конкурентов.

Фишка с заполненным профилем:

Узнать о том, на сколько максимально полно заполнен ваш профиль, можно во вкладке «Статистика»

Как только вы заполните профиль полностью, вы получите специальную галочку верифицированной организации.

Google мой бизнес тоже предоставляет много статистической информации – по тому, как кликают, просматривают и взаимодействуют с карточкой вашей компании.

Особенно интересно узнать на сколько ваша карточка привлекает внимание, какой будет по ней (CTR).

На скриншотах из статистики мы видим почти 7000 просмотров в месяц, а действий с сайтом минимальное количество: 12 человек переходят по ссылке на сайт, 30 человек прокладывают маршрут и 16 человек звонят. Итого, 58 человек из 7000 – это 0.83 % CTR. Показатель плачевный, и причина этого в неправильном оформлении карточки. Ниша очень популярная и горячая – СТО, авторазборка, шиномонтаж, автоэлектрик.

В нише очень много трафика и есть спрос на этот вид бизнеса – это видно уже по количеству запросов, учитывая, что это только категория «Авторазборка».

Если мы добавим дополнительные категории:

Мы получим еще больше просмотров в месяц. Эти категории работают примерно, как и рубрики в Яндекс каталоге. С помощью категорий Гугл понимает по каким запросам показывать вашу карточку. И мы теряем огромное количество заинтересованных в наших услугах людей, которые просто не могут нас найти, так как не выбрана нужная категория.

В названии должны использоваться самые популярные ключевые слова, которые охарактеризовывают все направления, которыми занимается наш бизнес.

Ключевые слова должны быть прописаны по степени уменьшения популярности, от самых популярных до наименее известных.

Проведя беседу с Хозяином бизнеса, который мы рассматриваем в качестве примера, выяснилось в каком приоритете распределяются услуги:

• СТО – замена запчастей, обслуживание автомобилей
• авто разборка – продажа бу запчастей (услуги установки запчасти с гарантией)
• шиномонтаж
• электрики
• механики
• компьютерная диагностика
• продажа и установка новых запчастей

Так же выяснилось, с какими автомобилями работает СТО:

• Skoda Octavia Tour
• Skoda Octavia A5
• Skoda Superb
• Skoda Superb New
• Skoda Felicia
• Skoda Fabia
• Skoda Fabia New

• Wolksvagen Polo
• Wolksvagen Passat B5
• Wolksvagen Passat B6

Когда создавалась карточка компании в Гугл мой бизнес, никто особо не обращал внимание на то, какие услуги нужно прописать в начале названия, какие в конце названия, какие категории выбрать в качестве дополнительных. И такая не дальновидность привела к очень низкому проценту взаимодействия пользователей с компанией, при этом имея огромные цифры по просмотру карточки компании.

Естественно, нам необходимо изменить название нашей организации, используя при этом информацию, полученную от Хозяина бизнеса и показатели частотности снятые по ключевым словам, которые содержатся в услугах предоставляемых нашей компанией.

Составить иерархию по приоритету и по частотности услуг, выбрать ключевые слова (самые приоритетные и самые частотные) и расположить их в самом начале названия.

Это позволит и бизнесу получать тех клиентов, которых нужно, и иметь еще больше просмотров в поиске по панели знаний.

Так же не мало важную роль играют фотографии компании:

Видим, что представительских фотографий очень мало, зато сразу бросаются в глаза фотографии бамперов, капотов и других авто деталей, которые тоже важны, но которые не могут передать важные первые впечатления о компании.

Правильное оформление карточки фотографии:

На фотографиях видна чистая, удобная, высокотехничная мастерская, которая вызывает уверенность что на СТО есть все необходимые инструменты, подъемник, возможность провести полную диагностику вашего автомобиля.

В итоге – фотографии дополняют название и в комплексе предоставляют пользователю первое впечатление о компании, они являются обложкой или обверткой вашей организации, и если эта обертка будет яркой, сочной, красивой и привлекательной – пользователь охотно выберет именно вашу компанию в качестве той которая решит его проблему.

Подведем итоги:

• Рубрики в Яндекс каталоге и Категории в Google Мой Бизнес – крайне важны, так как за счет них решается, сколько вы получите просмотров и по каким видам запросов. Выбрав правильные нишевые категории и рубрики, вы можете быть лидером в нише и собирать все сливки, то есть клиентов. А выбрав не правильные и слишком широкие рубрики/категории, вы можете быть на средних или последних местах в нише и довольствоваться лишь крохами трафика, которые остаются от большого торта.
• Название вашей компании и фотографии – архи-важны, так как это обертка вашего бизнеса, и от этой обертки зависит: захотят люди развернуть ее и увидеть, что находится внутри, за счет фотографий и названия люди будут кликать и переходить на ваш сайт, строить маршрут проезда к вам, просматривать телефон, чтобы дозвонится к вам. Одни только просмотры вашей карточки без взаимодействия не принесут вам клиентов, а значит, и прибыли. Одни только просмотры говорят о том, что людям не нравится обертка и они не хотят заглядывать внутрь.

Привет всем, друзья!
Иногда возникают ситуации, когда необходимо закрыть сайт от Ну, например вы решили сменить дизайн блога и не хотите, чтобы в это время на ресурс заходили поисковые боты. Или просто вы только что создали сайт и установили на него движок, соответственно если на ресурсе нет полезной информации, то показывать его поисковым ботам не стоит. В данной статье вы узнаете о том, как закрыть сайт от индексации в Яндексе, Гугле, или сразу во всех поисковых системах. Но перед тем вы также можете прочитать еще одну похожую статью: « ?» А теперь приступим.

1. Закрываем сайт от индексации с помощью файла robots.txt.
Для начала вам нужно . Для этого создаете на своем компьютере обычный текстовый документ с названием robots и расширением.txt. Вот я только что создал его:

Теперь этот файл нужно загрузить в . Если ресурс сделан на движке вордпрес, то корневая папка находится там, где папки wp-content, wp-includes и т. д.

Итак, мы загрузили пустой файл на хостинг, теперь нужно с помощью этого файла как-то закрыть блог от индексации. Это можно сделать, как я уже написал только для Яндекса, Гугла или сразу всех поисковиков. Давайте обо всем по порядку.

Как закрыть сайт от индексации только для Яндекса?
Пропишите в файле robots.txt вот такую строчку:

User-agent: Yandex
Disallow: /

Для того чтобы убедиться в том, что вы запретили индексировать свой ресурс Яндексу, добавьте сначала сайт , если вы этого еще не сделали, а потом перейдите на эту страницу . Дальше введите несколько страниц своего сайта и нажмите на кнопку «Проверить». Если страницы запрещены к индексации, то вы увидите примерно такую картину:

Как закрыть сайт от индексации только для Google?
Откройте файл robots.txt и пропишите там вот такую строчку:

User-agent: Googlebot
Disallow: /

Для того чтобы проверить, что Гугл не индексирует сайт, создайте , добавьте свой ресурс в Google Webmaster и перейдите . Здесь также нужно ввести несколько страниц и нажать на кнопку «проверить».

Я заметил, что поисковая система Google индексирует даже те документы, которые запрещены в файле robots.txt и заносит их в дополнительный индекс, так называемые «сопли». Почему, не знаю, но вы должны понимать, что запретить сайт или отдельную страницу с помощью файла robots.txt на 100 % нельзя. Этот файл, как я понял, только рекомендация для Гугла, а он уже сам решает, что ему индексировать, а что нет.

Как закрыть сайт от индексации для всех поисковых систем?
Чтобы запретить сразу всем поисковикам индексировать ваш ресурс, пропишите в robots.txt вот такую строчку:

User-agent: *
Disallow: /

Теперь вы также можете перейти в Яндекс или Гугл Вебмастер и проверить запрет индексации.

Свой файл robots.txt вы можете увидеть по такому адресу:

Вашдомен.ru/robots.txt

Все что вы прописали в этом файле должно отображаться в браузере. Если при переходе по этому адресу перед вами выскакивает , значит, вы не туда загрузили свой файл.

Кстати, мой robots.txt находиться . Если ваш ресурс сделан на движке wordpress, то можете просто скопировать его. Он правильно настроен для того, чтобы поисковые боты индексировали только нужные документы и что бы на сайте не было дублей.

2. Закрываем сайт от индексации с помощью панели инструментов.
Этот способ подойдет только для тех, чей ресурс сделан на вордпрес. Зайдите в «Панель управление» — «Настройки» — «Чтение». Здесь нужно поставить галочку напротив надписи «Рекомендовать поисковым машинам не индексировать сайт».

Обратите внимание, что ниже находиться очень интересная надпись: «Поисковые машины сами решают, следовать ли Вашей просьбе». Это как раз то, о чем я писал выше. Яндекс скорее всего не будет индексировать страницы, которые запрещены к индексации, а вот с Гуглом могут возникнуть проблемы.

3. Закрываем сайт от индексации вручную.
Когда вы закрываете целый ресурс или страницу от индексации, то в исходном коде автоматически появляется вот такая строчка:

Она и говорит поисковым ботам, что документ индексировать нельзя. Вы можете просто вручную прописать эту строчку в любом месте своего сайта, главное чтобы она отображалась на всех страницах и тогда ресурс будет закрыт от индексации.

Кстати, если вы создаете ненужный документ на своем сайте, и не хотите чтобы поисковые боты его индексировали, то можете также вставить в исходном коде эту строчку.

После обновления откройте исходный код страницы (CTRL + U) и посмотрите, появилась ли эта строчка там. Если есть, значит все хорошо. На всякий случай можете еще проверить с помощью инструментов для вебмастеров от Яндекса и Гугла.

На этом все на сегодня. Теперь вы знаете, как закрыть сайт от индексации. Надеюсь, эта статья была полезна для вас. Всем пока.