Яндекс алгоритмы поиска. Искусственный интеллект в поиске

В результате технологического прогресса стало возможным производить необходимые операции, не выходя из дому. Теперь даже работать можно через Сеть, и многие уже давно неплохо чувствуют себя на этом поприще. Самый распространенный вид заработка в Интернете - создание собственного сайта или блога. Благодаря размещенной на ресурсе рекламе его владелец может получать хорошую прибыль. Правда, эта схема работает только тогда, когда сайт или блог находятся на первых страницах поиска. Проще говоря, от количества посетителей на ресурсе зависит уровень дохода его владельца.

И первое, что нужно знать, приступая к такой деятельности, - как работают поисковые алгоритмы, в частности алгоритмы "Яндекса", самой большой поисковой системы Рунета.

Что такое поисковые алгоритмы?

Поисковые алгоритмы, они же алгоритмы "Яндекса", представляют собой некую математическую формулу, где запрос пользователя является неизвестным. Поисковый робот решает эту формулу: подставляет вместо неизвестного разные значения и выбирает самое подходящее.

Если упростить определение, то можно выразиться следующим образом: поисковый алгоритм - это специальная программа, которая забирает «проблему», в нашем случае поисковый запрос, и дает ее «решение», то есть показывает список сайтов с необходимой пользователю информацией.

Решая «проблему», алгоритм просматривает все ключевые слова на страницах, сортирует полученные данные и формирует нужную для пользователя поисковую выдачу. Благодаря поисковому алгоритму, роботы могут анализировать содержимое каждого ресурса. На основе полученной информации определяется положение сайта в поисковой выдаче.

Что влияет на поисковый алгоритм?

Как уже можно было заметить, поисковая выдача по одному и тому же запросу в разных поисковых системах разная. Так, алгоритм "Яндекса" значительно отличается от Google. Например, для чистоты эксперимента откроем две вкладки: одна поисковая система от "Яндекс", другая - от Google. Если ввести в строку поиска запрос «как уехать в Японию на ПМЖ», то можно увидеть, что первый сайт в выдаче "Яндекс" находится на втором месте в выдаче Google.

Алгоритмы поисковиков находятся под строгим секретом, они анализируют одни и те же параметры сайта, но каким уделяют больше внимания, а каким меньше - никому не известно. Даже СЕО-оптимизаторы задаются этим вопросом.

Параметры, с которыми работают алгоритмы

Как уже было сказано, поисковые алгоритмы "Яндекса" руководствуются определенными параметрами. В целом их можно разделить на две группы. Одни параметры отвечают за смысловое наполнение ресурса, их можно условно назвать «текстовыми». Другие - характеризуют технические характеристики (дизайн, плагины и т. д.). Условно можно обозначить их как «инженерно-функциональные». Для наглядности стоит разбить все параметры по группам и разместить в таблице.

«Текстовые»	«Инженерно-функциональные»
Язык ресурса	Возраст сайта, доменное имя, местоположение.
Популярность темы и количество текста на каждой странице.	Количество страниц и их «вес»
Соотношения ключевых слов к общему количеству текста.	Наличие стилевого решения
Количество цитат и уровень уникальности контента	Количество запросов по конкретному ключевому слову и частота обновляемой информации.
Размер шрифта и его тип	Наличие мультимедийных файлов, фреймов, флэш-модулей и мета-тегов
Число ссылок в тексте	Стиль заголовков, подзаголовков и КС
Соответствие ключевых слов разделу каталога, где зарегистрирован сайт.	Комментарии в программном коде, тип страницы, наличие дублей

Ранжирование

Эти параметры играют ключевую роль в алгоритмах ранжирования. Алгоритм ранжирования - это способ, благодаря которому можно узнать ценность каждой страницы. Проще говоря, если сайт имеет хорошие показатели по всем этим параметрам, то он будет находиться выше в поисковой выдаче.

Алгоритмы ранжирования "Яндекса" меняются практически каждый год. Основные из них названы в честь городов. Название новой поисковой концепции начинается с последней буквы названия предыдущего алгоритма. Так, поисковая система создала алгоритмы:

• "Магадан" (2008 год).
• "Находка" (2008 год).
• "Арзамас" (2009 год).
• "Снежинск" (2009 год).
• "Конаково" (2010 год).
• "Обнинск" (2010 год).
• "Краснодар" (2010 год).
• "Рейкьявик" (2011 год).
• "Калининград" (2012 год).
• "Дублин" (2013 год).
• "Началово" (2014 год).
• "Одесса" (2014 год).
• "Амстердам" (2015 год).
• "Минусинск" (2015 год).
• "Киров" (2015 год).

Помимо них, в последние два года вышло еще три поисковых алгоритма "Яндекса". А также существуют особые алгоритмы АГС-17 и АГС-30, основная задача которых - искать ресурсы, которые не удовлетворяют требованиям. Проще говоря, эти алгоритмы ищут сайты с неуникальным контентом и обилием ключевых слов, а после применяют к ним штрафные санкции. А теперь о каждом алгоритме понемногу.

Алгоритмы 2008-2011 годов

За два года "Яндекс" создал четыре поисковых алгоритма, которые качественно отличались от предыдущих, начальных версий. В 2008 году впервые в поисковом ранжировании начали учитывать уникальность контента ("Магадан"). Впервые была введена новая система, которая принимала во внимание наличие стоп-слов ("Находка").

В 2009 году алгоритм поиска "Яндекс" начал учитывать регион пользователя, появился новый классификатор геозависимых и геонезависимых запросов. Значительно улучшилась региональная формула подбора ответов ("Арзамас"). Сильно изменилась выдача, появилось 19 новых формул регионального ранжирования и обновились критерии геонезависимого ранжирования ("Снежинск", "Конаково").

В 2010 году алгоритмы поисковых систем "Яндекс" активно разрабатывали новые формулы для геозависимых и геонезависимых запросов ("Обнинск", "Краснодар"). 2011 год ознаменовался началом создания персонализированной выдачи, стали учитываться языковые предпочтения интернет-пользователей.

Поисковое ранжирование 2012-2014 годов

В 2012 году персонализация выдачи существенно изменилась: стали учитывать интересы пользователей в долгосрочной перспективе, повышалась релевантность часто посещаемых сайтов ("Калининград"). В 2013 году алгоритм "Яндекса" уже умело подстраивал результаты поисковой выдачи под интересы конкретного пользователя во время сессии, учитывал кратковременные интересы ("Дублин"). В 2014 году был отменен учет ссылок для коммерческих запросов при ранжировании ответов ("Началово").

"Амстердам", "Минусинск", "Киров"

В поисковой выдаче возле результата начала появляться карточка с информацией при наведении на ссылку курсора ("Амстердам"). Впервые задачей алгоритма "Яндекс" стало понижение в ранжировании ресурсов, что имели много СЕО-ссылок. Наличие обширного ссылочного профиля стало основной причиной потери позиций. Алгоритм "Минусинск" "Яндекса" начал массово снимать СЕО-ссылки, немного позже учет ссылочных факторов вернули, но только в Московском регионе.

В третьем за этот год алгоритме была внедрена рандомизация релевантных запросов. Проще говоря, при выдаче запросы можно было сортировать по дате, популярности или региону ("Киров").

"Владивосток" и "Палех"

Алгоритм "Владивосток", начавший функционировать в начале 2016 года, стал учитывать адаптивность ресурсов к мобильным устройствам, повысились результаты мобильной выдачи.

Особого внимания заслуживает алгоритм «Палех», который презентовали в ноябре. Его основная суть состоит в сопоставлении смысла вопроса и страниц при помощи нейросетей - искусственного интеллекта, который моделирует работу человеческого мозга. Благодаря этому повысилась выдача по редким запросам. Изначально этот алгоритм работал исключительно с заголовками страниц, но, как говорят создатели, со временем научится «понимать» и сам текст. Работа алгоритма заключается в следующем:

• Система учитывает статистику соответствия запроса и заголовка, тем самым повышая точность поисковой выдачи.
• Работа с такими соответствиями получила название «семантический вектор». Такой подход к поисковому ранжированию помогает находить ответы на самые редкие запросы. Алгоритм, который научился понимать текст, может выдавать результаты в которых не будет ни единого похожего слова с запросом, но, тем не менее, они полностью соответствуют друг другу по содержанию.

Проще говоря, в "Яндексе" попытались создать «разумную» технологию, которая ищет ответы, опираясь не на ключевые слова, а на само содержание текста.

"Баден-Баден"

Новый алгоритм "Яндекса", вышедший в марте 2017 года, стал настоящим прорывом в системе поискового ранжирования. В поисковой выдаче на первое место начали выводить сайты с полезным, понятным и читабельным контентом. Основная алгоритма - предоставить пользователю не текст, соответствующий запросу, а нужную информацию.

За время работы «Баден-Баден» понизились в поисковой выдаче ресурсы с переоптимизированой и некачественной информацией. Эксперты были уверены, что упадут позиции интернет-магазинов, так как там слишком много повторяющихся слов и описаний товаров, что практически ничем не отличаются. Но разработчики алгоритма учитывали, что есть специфические темы, где повтор однокоренных слов неизбежен. Так какие же тексты попадают под санкции? Лучше это посмотреть на примере.

Текст, не соответствующий поисковому алгоритму

Раньше поисковые роботы выводили на первые позиции ресурсы, в которых были ключевые слова. Но тексты на таких сайтах зачастую выглядят как набор запросов, разбавленных «водой» некачественных текстов. И приведенный ниже пример - тому доказательство:

«Ежегодно Nike выпускает бесчисленное множество товаров для занятий спортом. Кроссовки, кеды, бутсы, костюм Nike, футболка Nike, шорты, спортивный костюм Nike, штаны, спортивные штаны Nike, футбольные мячи - эти и другие товары можно найти в любом фирменном магазине. Женские Nike, мужские и детские коллекции передают главную тему марки. Одежда Nike уникальна тем, что каждый товар передает настроение бренда».

Такие тексты не несут пользы, это не более чем шкатулки с ключевыми запросами. Вот с ними и борется новый алгоритм. Контент с низким качеством непременно потеряет свои позиции. Существуют три критерия низкокачественного контента:

• Отсутствие логики в тексте.
• ключевых слов.
• Присутствие в тексте неестественных фраз, которые появились из-за прямых вхождений ключевых слов.

Естественно, СЕО-оптимизацию никто не отменял, базовые принципы поисковых систем остаются прежними. Вот только подход, при котором на 1000 знаков приходится 15-20 ключевых запросов, уже давно устарел. Алгоритм "Баден-Баден" акцентирует внимание на качестве контента.

Поисковая выдача

Важное место в процессе нахождения информации занимает алгоритм выдачи. Выдача - это страница результатов, отвечающих определенному запросу. Алгоритм выдачи "Яндекса" построен таким образом, что может просчитать вероятность нахождения самого релевантного ответа и сформировать выдачу из десяти ресурсов. В случае когда запрос сложный, то в выдаче можно найти 15 ответов.

1. Язык ресурса

2. Популярность темы и количество текста на каждой странице.

3. Соотношения ключевых слов к общему количеству текста.

4. Количество цитат и уровень уникальности контента

5. Размер шрифта и его тип

6. Число ссылок в тексте

7. Соответствие ключевых слов разделу каталога, где зарегистрирован сайт.

В действительности это работает так: если алгоритм «знаком» с запросом и по нему есть высокорелевантный ответ, то формируется выдача из десяти ответов. В случае, когда поисковая система не может найти таких ответов, в выдаче будет представлено 15 ссылок.

Вот, собственно, и все основы алгоритмов. Для того чтобы сайт хорошо себя чувствовал, при поисковой выдаче необходимо наполнить его качественным, информативным и читабельным контентом.

2 ноября 2016 года Яндекс обьявил о введении нового алгоритма поискового ранжирования «Палех». Теперь вебмастерам придется подстраиваться и под его требования.

Напомню, что алгоритмы поискового продвижения, как это следует из их названия, предназначены для выстраивания очередности в поисковой выдаче по определенному запросу. А это очень важно для нас, вебмастеров, т.к. кому нужен сайт, расположенный в выдаче на 50 месте и более – его никто не найдет и туда никто не придет.

Обычно начинающим вебмастерам советуют делать упор на низкочастотные запросы, где гораздо легче пробиться в ТОП и с гораздо меньшими временными и денежными затратами. Вот как раз на такие запросы и ориентирован Палех.

Причем он ориентирован не просто на низкочастотные запросы, а — на очень-очень низкочастотные и даже уникальные запросы. А такие запросы опытных сеошников, как правило, мало интересуют, что дает нам шанс привлечь на свои сайты больше посетителей.

Суть Палеха заключается в том, что теперь ранжирование идет не только по точным ключевым фразам (их очень трудно угадать), но и по схожим по смыслу.

Для решения этой задачи Яндекс обратился к нейронным сетям, которые не программируются в обычном смысле этого слова, а самообучаются. Благодаря самообучению такие сети и способны улавливать смысл поисковых фраз и искать похожие. Подробнее об этом почитайте на его блоге, посвященной Палеху.

В результате Яндекс получил возможность активнее ранжировать фразы из т.н. «длинного хвоста»; тем, кто забыл, что это, напомню.

Что такое «длинный хвост»

В 2004 году шеф-редактор журнала «Wired» Крис Андерсон провел исследование продаж товара (любого товара). Его интересовал вопрос: что в наибольшей степени приносит прибыль – наиболее популярные сегодня товары (т.н. бестселлеры) или товары, выбывшие из списка бестселлеров и перешедшие в разряд ширпотреба (рестселлеры).

Оказалось, что прибыль от обеих групп товаров примерно одинаковая: бестселлеры дают очень большую прибыль в первый период своего появления, потом, с появлением других бестселлеров – более новых, первые переходят в разряд рестселлеров, но продолжают приносить прибыль – до момента снятия с продажи примерно такую же, как и в период их бестселлерства.

Если расположить все эти данные на графике, то получится примерно такая картина:

Эта теория была применена к разным областям человеческой деятельности, в том числе и к SEO. И дала превосходные показатели: оказалось, что по запросам, составляющими «длинный хвост», переходят до половины пользователей Интернета.

Представьте, что вы живете в Череповце и желаете купить стол. Вы будете писать в адресной строке запрос «мебель» или же «купить двухтумбовый письменный стол в Череповце недорого»?

Запрос «мебель» относится к топовым, а наш длиннющий запрос – к длинному хвосту. Чем больше слов употребляется в запросе, тем быстрее он окажется в самых низкочастотных. Обычно считают, что запросы с число слов более двух- трех относятся к низкочастотным, если слов еще больше — это типичный длинный хвост.

Отличный пример приведен на картинке:

Рис.2

По статистике Яндекса из 280 миллионов ежедневных запросов примерно 100 миллионов – запросы из области длинного хвоста. И на такое количество запросов надо как-то реагировать, он и отреагировал – Палехом.

Почему Палех?

Картинки с «длинным хвостом» изображают по-разному, обычно используя изображения животных: крыс, ящериц и т.д. Вот например, динозавр:

Рис.3

Но поскольку сейчас у нас в стране угар патриотизма, то Яндексу надо было найти что-то такое, чего нет ни у кого, а только у русских. Он и нашел – жар-птицу:

Рис.4

Жар-птица часто изображается на палехских миниатюрах, отсюда и «Палех», понятно?

Но изображение и название – дел десятое, нам-то, вебмастерам, что делать и чего ждать?

Берем курс на Палех

Сразу скажу, ждать от «Палеха» уже особенно нечего: он уже два месяца используется Яндексом и успел отранжировать сайты. Поэтому, если у вас за последнее время как-то изменились позиции сайта, то это его рук дело. Яндекс только обьявил 2 ноября, а так алгоритм уже действует.

Коснулся он прежде всего тех сайтов, где много контента. Если контент был хороший, то сайт начал дополнительно ранжироваться по новым ключевикам – по самым что ни на есть низкочастотным запросам. А если Яндекс посчитал его плохим…

Естественно, Яндекс на хороших, так называемых трастовых, сайтах и контент считает хорошим. А как попасть в трастовые сайты? – Это долго и дорого. Самый быстрый путь ведет через . Там есть бесплатная регистрация, но сразу скажу, что у вас, новичков, шансов мало. И есть – 14.500 рублей плюс НДС. Здесь все попроще, но 100%-й гарантии вам никто не даст.

Ну, или пишите, пишите, пишите и при этом очень старайтесь и будет вам траст. Пути к трасту хорошо описаны в Сети, поищите.

VN:F

...И сообщите о ней друзьям:

А еще Вы можете подписаться на рассылку -
у меня в запасе есть много интересных материалов.

Служебная информация о статье:

В статье кратко расматриваются особенности нового алгори тма Яндекса и даются практические советы начинающим вебмастерам

Written by: Sergey Vaulin

Date Published: 11/08/2016

Палех – новый алгоритм Яндекса , 5.0 out of 5 based on 3 ratings

7 апреля 2017 – алгоритм «Баден-Баден» — хостовый режим
С этого момента за наличие признаков переоптимизации на некоторых страницах может быть понижен весь сайт. В панели Я.Вебмастер появились сообщения о понижении за поисковый спам.

23 марта 2017 – алгоритм «Баден-Баден» — постраничный режим
Встроенный в ядро поискового алгоритма фильтр, который понижает в выдаче страницы с переоптимизированными текстами. На начальном этапе фильтр понижал отдельные страницы, также зафиксированы случаи позапросного срабатывания фильтра.

2 ноября 2016 – алгоритм «Палех»
Формула ранжирования, которая «умеет» находить соответствия между поисковым запросом и документом даже в том случае, если в самом документе отсутствует фраза из запроса. На момент запуска работает только для Title страниц.

8 июня 2016 – обновление алгоритма расчета тИЦ
С этого момента тематический индекс цитирования рассчитывается по новым правилам, основанным на качестве и тематическом соответствии ссылающихся страниц.

2 февраля 2016 – запуск алгоритма «Владивосток»
Изменение алгоритма ранжирования в мобильной выдаче. Яндекс начинает учитывать оптимизацию сайтов под мобильные устройства. Теперь выдача на стационарных и мобильных устройствах может отличаться, и приоритет в мобильной выдаче будет отдан тем сайтам, которыми удобно пользоваться с мобильных устройств.

30 декабря 2015 – фильтр за кликджекинг
Понижение сайтов, использующих кликджекинг (невидимые элементы, взаимодействие с которыми пользователь осуществляет, не подозревая этого).

Ноябрь 2015 (точная дата неизвестна) – включение ссылочного фактора
В рамках выступления на Школе для Вебмастеров представители Яндекса сообщили , что ссылочное ранжирование снова работает для ряда тематик по Москве. В последствие

2 октября 2015 – фильтр «Опасные сайты»
Понижение в выдаче сайтов, представляющих опасность для компьютера пользователя. Ранее такие сайты не понижались, а просто отмечались специальной отметкой.

Сентябрь-ноябрь 2015 – алгоритм «Киров». Многорукие бандиты Яндекса
Рандомизация выдачи. Подмешивание в ТОП к трастовым «старожилам» молодых сайтов с целью дать последним возможность накопить ПФ. С этого момента возраст сайта перестал играть ключевое значение в поисковом продвижении.

8 сентября 2015 – запуск обновленного фильтра АГС
Нацелен на ограничение в ранжировании сайтов, злоупотребляющих размещением SEO-ссылок, вне зависимости от качества. Ограничения сопровождаются аннулированием тИЦ. Согласно заявлению Яндекса, чтобы выйти из-под санкций, достаточно отказаться от размещения SEO-ссылок на сайте.

23 июня 2015 – третья волна «Минусинска»
Третья волна понижения сайтов за SEO-ссылки.

27 мая 2015 – вторая волна понижений за SEO-ccылки
Вторая волна первой итерации Минусинска, пострадало около 200 сайтов, по показателям сайты не отличаются от пострадавших в первой волне.

15 мая 2015 – первая волна понижений за SEO-ссылки
За использование SEO-ссылок в результате первой итерации фильтра Минусинск было понижено 488 сайтов. Яндекс продолжает призывать всех вебмастеров отказываться от использования SEO-ссылок – созданных, чтобы повлиять на поисковую систему. Подробнее об официальных результатах Минусинска .

15 апреля 2015 – анонс нового алгоритма «Минусинск»
На конференции «Неделя Байнета» в Минске Александр Садовский анонсировал выход нового алгоритмического фильтра Яндекса – «Минусинска», направленного на борьбу с ссылочным спамом. После анонса 9 тысяч сайтов получили уведомления с рекомендацией отказаться от использования SEO-ссылок и других некорректных способов продвижения.

1 апреля 2015 – «Амстердам»
Изменения на странице результатов выдачи — справа от результатов поиска появился блок с общей информацией о предмете запроса.

30 декабря 2014 – очередная волна пессимизации за накрутку ПФ
Кроме накрутчиков, под раздачу попали сайты так называемого «Живого Щита» - ресурсы, которым поведенческие накручивались без ведома их владельцев, с целью сбить с толку алгоритмы Яндекса.

1 декабря 2014 – волна пессимизации за накрутку ПФ
Понижены тысячи сайтов, которые накручивали переходы из результатов выдачи. Также впервые были пессимизированы ресурсы, использовавшие так называемое «усиление ссылочного» - накликивание покупных ссылок с целью улучшить передачу ссылочного веса.

19 cентября 2014 – волна понижений за агрессивную рекламу
Ужесточение санкций по отношению к сайтам с отвлекающей рекламой. Релиз вышел с погрешностью - было пессимизировано большое количество белых сайтов, где нормальные рекламные блоки с помощью браузерных вирусов подменялись на агрессивные. Позже эта погрешность была устранена.

14 cентября 2014 – изменение формулы ранжирования информационных сайтов
Ужесточение алгоритма для некоммерческих ресурсов. Очередная волна понижения видимости инфоресурсов за отсутствие добавочной ценности контента.

2-5 июня 2014 – «Острова»
Экспериментальное изменение дизайна результатов поиска. Ответы на некоторые запросы можно было увидеть прямо на странице выдачи, без перехода на сайт. Через некоторое время разработчики признали, что эксперимент не удался.

15 апреля 2014 — изменения в алгоритме АГС
С этого момента при попадании сайта под АГС число его страниц в индексе не уменьшается. Признаком АГС теперь является обнуление тИЦ .

20 марта 2014 – понижение видимости сайтов с шокирующей рекламой
Сайты, размещающие тизерную и другую отвлекающую рекламу, стали понижаться в выдаче. Под раздачу попали ресурсы, которые монетизировались за счет рекламных блоков с эротическими картинками, кадрами из фильмов ужасов, изображением частей тела с избыточным весом и другой неприятной рекламой.

12 марта 2014 – Алгоритм «Началово». Первый этап отмены ссылок
Обновление формулы ссылочного ранжирования для коммерческих запросов (Москва) в тематиках «Недвижимость», «Туризм», «Электроника и бытовая техника».

5 декабря 2013 – анонс бессылочного ранжирования
Руководитель веб-поиска Александр Садовский на конференции в Москве сообщил, что Яндекс готовит новую формулу ранжирования, в которой отсутствуют ссылочные факторы. Алгоритм обещали запустить вначале 2014 года и только для коммерческих запросов по Москве.

6 ноября 2013 – АГС 40
Обновился набор показателей низкого качества контента. Основной причиной наложения фильтра стало отсутствие добавочной ценности сайта. Фильтр затронул в основном МФА-сайты и ресурсы, созданные под монетизацию на партнерских программах, и стал полностью автоматизированным.
от предыдущих версий фильтра.

30 мая 2013 – алгоритм «Дублин»
Еще один шаг в сторону персонализации выдачи. Теперь результаты поиска подстраиваются под интересы пользователя прямо во время поисковой сессии.

16 мая 2013 – анонс платформы «Острова»
Яндекс впервые рассказал о новой поисковой платформе «Острова». Предполагалось радикальное изменение формата выдачи, при котором пользователь мог бы решать свою проблему прямо на странице поиска, не посещая сайт (заказывать еду, бронировать гостиницу, покупать билеты).
Выкатить острова планировалось за полтора-два месяца, но по неизвестным причинам этот момент постоянно откладывался. 26 июля 2013 на Beta.yandex.ru запущена тестовая версия «Островов».

15 мая 2012 – пессимизация сайтов с обманными pop-up элементами
Сайты со всплывающими окнами, заточенными под системные уведомления или сообщения социальных систем, стали понижаться в выдаче автоматически.

16 февраля 2012 – региональная выдача для Я.Картинок
Разные ответы для России, Украины, Беларуси и Казахстана.

7 февраля 2012 – персонализация подсказок для зарегистрированных пользователей
Яндекс начинает учитывать историю запросов пользователей при формировании подсказок в поисковой строке. Еще один шаг к персонализации выдачи.

12 декабря 2012 – Калининград. Персонализация результатов поиска
Попытка подстроить Топ-10 и поисковые подсказки под каждого пользователя, основываясь на истории его запросов и поведения на странице выдачи. Согласно исследованию платформы «Калининград», объемы трафика у старых трастовых сайтов выросли. А вот продвигать молодые ресурсы в персональном поиске привычными методами стало сложнее.

23 ноября 2011 – новый алгоритм для коммерческих сайтов
Формула ранжирования пополнилась коммерческими факторами: удобство сайта, ассортимент продукции, цены, сервис и т.д. Изначально релиз был запущен для московской выдачи, со временем распространился на другие регионы.

5 октября 2011 – Яндекс начинает учитывать юзабилити
С этого момента в выдаче автоматически понижаются перенасыщенные рекламой сайты, а ресурсы с неудобной навигацией начинают испытывать проблемы при продвижении.

13 сентября 2011 – фильтр «Ты Спамный»
Санкции за переспамленные тексты. Первый фильтр Яндекса, учитывающий ПФ (понижались только те спамные тексты, которые имели низкие поведенческие показатели). Изначально фильтр был запросозависимым и накладывался на отдельные страницы.

17 августа 2011 – Рейкьявик
Построение результатов выдачи на базе языковых предпочтений пользователя. Первый шаг к персонализации выдачи на уровне конкретного посетителя.

Май 2011 – первая волна ручной пессимизации сайтов за накрутку ПФ
Были понижены позиции известных SEO-компаний и их клиентов. 23 мая на блоге Яндекса появилось официальное предупреждение .

17 декабря 2010 – новая формула ранжирования по геозависимым запросам
В каждом регионе привилегию получили сайты с привязкой к этому региону. Продвигать один сайт в нескольких регионах стало проблематично.

15 декабря 2010 – Краснодар. Внедрение «Спектра» в выдачу
Разделение сайтов на 60 смысловых категорий. Принцип квоты для сайтов из разных категорий в выдаче по запросам общего характера. Результаты поиска по ВЧ стали более разнообразными – в Топ 10 по общему ВЧ можно было встретить интернет-магазин, энциклопедию и форум (технология «Спектр»).
Приоритет поведенческих факторов (действия пользователя на странице результатов выдачи).

2 ноября 2010 – улучшение ранжирования авторских текстов
Изменения алгоритма определения авторства документа.

13 сентября 2010 – Обнинск
Улучшено определение региональности сайтов. В выдаче по ГНЗ запросам преимущество получили сайты без привязки к региону.
Изменилось отношение к коммерческим ссылкам. Наложение «фильтра времени» на коммерческие ссылки – донор начинает передавать вес акцептору только через 2-4 месяца от момента появления ссылки.

17 марта 2010 – Снежинск 1.1
Обновление формулы ранжирования по НГЗ запросам. Приоритет в выдаче получили сайты некоммерческой направленности – энциклопедии, обзоры.

20 января 2010 – портяночный фильтр Яндекса
Санкции за длинные тексты («портянки»), переспамленные ключевыми словами. Фильтр накладывался на отдельные страницы и лечился сокращением текста в несколько раз (при этом плотность ключевиков могла оставаться на том же уровне). Портяночный фильтр – предшественник алгоритма «Ты спамный», который появился в 2012 году.

22 декабря 2009 – Конаково
Локальное ранжирование получили 1250 городов России.

18 декабря 2009 – АГС 30
Расширилось число факторов, влияющих на решение алгоритма исключить сайт из индекса. С этого момента под фильтры начали попадать и псевдоСДЛ – сайты с технически уникальным, но не интересным для пользователей контентом.
Фильтр мог накладываться как вручную, так и автоматически.

17 ноября 2009 – Снежинск. Первый алгоритм на платформе MatrixNET
Региональную выдачу получили 19 городов. Число параметров, которые учитываются при ранжировании документов, увеличилось до нескольких тысяч. В формуле появились поведенческие факторы.
Поменялся принцип ранжирования коммерческих запросов. Качество сайта в целом стало играть бОльшую роль, чем релевантность отдельной страницы.
Яндекс научился отличать коммерческие ссылки от некоммерческих на основании анализа анкоров (Мадридский доклад).

28 сентября 2009 – фильтр АГС 17
Первое официальное упоминание этого фильтра, который, по словам Яндекса, работает с 2006 года.
Симптом фильтра – в выдаче остается от 1 до 10 страниц сайта. Первый релиз коснулся в основном автоматически наполняемых ресурсов и сайтов с неуникальным контентом.

20 августа 2009 – Арзамас 1.2. Классификатор геозависимости запросов
Разделение запросов на геозависимые и геонезависимые. Приоритет старых трастовых сайтов в выдаче по ГНЗ. В топах по ГНЗ показываются преимущественно морды.

11 августа 2009 – понижение сайтов с системами clickunder
Продолжение войны с агрессивной рекламой, начатой 30 апреля.

24 июня 2009 – Арзамас 1.1.
Улучшена формула ранжирования для регионов России, исключая Москву и Санкт-Петербург. Повысилась значимость возраста домена. В выдаче замечены страницы с портянками текста и малым количеством бэклинков.

30 апреля 2009 – начало войны с агрессивной рекламой
Яндекс начал искусственно понижать в выдаче страницы с popunder-баннерами.

8 апреля 2009 – Арзамас (Анадырь). Региональная выдача
Региональную выдачу получили Москва, Санкт-Петербург, Украина, Белоруссия и Казахстан. Спустя почти 3 месяца в панели Я.Вебмастер появилась возможность привязки сайта к региону.
При ранжировании по запросам с неоднозначным смыслом стала учитываться история уточняющих запросов.
Подмешивание картинок в результаты поиска по некоторым запросам.

11 сентября 2008 – Находка
Повышение веса внутренних страниц – в выдаче по СЧ и некоторым ВЧ параллельно с мордами появились внутряки.
Морфологические изменения, отличия в выдаче по запросу в единственном и множественном числах.
Подмешивание информационных сайтов в выдачу по коммерческим запросам. Википедия в выдаче.

28 августа 2008 – изменения в алгоритме тИЦ
Нововведение коснулось сайтов, которые накручивали тИЦ по специальным схемам. У около 15% сайтов тИЦ снизился до 0-10.

2 июля 2008 – Магадан 2.0
Большой вес получил фактор уникальности текстов. Яндекс научился определять и по-другому ранжировать коммерческие запросы. Значение возраста сайта понижено.

16 мая 2008 года — Магадан
Первый именной алгоритм Яндекса. Выдача по информационным запросам. Яндекс научился расшифровывать аббревиатуры и транслитерацию.
Это первый алгоритм, который до выката в основной поиск тестировался вебмастерами на buki.yandex.ru почти месяц (с 14 апреля).

4 апреля 2008 года – появление иноязычных документов выдаче
Яндекс начинает искать по зарубежному интернету, в выдачу подмешиваются англоязычные сайты.

18 марта 2008 года – наступление на SEO ссылки
Ссылки с главных страниц теряют вес. Массовая просадка сайтов, которые держались в топах за счет ссылок с морд. Ссылки с внутренних страниц продолжают работать.

5 февраля 2008 – «Гости из прошлого» или «Непот в тумане»
Отмена непот-фильтра в чистом виде. Ссылки с сайтов, находящихся под непотом, получили минимальный вес (близкий к нулю). С этого момента стало невозможным определять «занепоченные» площадки с помощью меток в анкорах.
Название алгоритма пошло от ветки форума на Серче.

17 января 2008 – «Восьмерка» SP 1
Меняется отношение к внешним ссылкам. Снижение веса ссылок с «морд». Вебмастера массово переходят на покупку ссылок с внутренних страниц доноров.

7 августа 2007 года – «Родео»
Новая формула ранжирования для однословных запросов. Приоритет по однословникам в выдаче получили главные страницы («морды»).
Свое название алгоритм получил из анонса , опубликованного на Forum.Searchengines.ru Александром Садовским.

2 июля 2007 года – изменение формулы ранжирования
Алгоритм стал запросозависимым – для однословных и многословных запросов стали применяться разные формулы ранжирования.
Яндекс впервые анонсировал свой алгоритм и дал возможность вебмастерам оставлять свой фидбек .
Анонсирован на Forum.Searchengines.ru Александром Садовским.

2005 год – непот-фильтр
Внешние ссылки с сайтов, занимающихся активной линкоторговлей, перестали передавать вес. Оптимизаторы начинают использовать метки в анкорах, чтобы идентифицировать занепоченные площадки.

Лето 2017 года, 22 августа – выход нового поискового алгоритма от Яндекса. Анонс на официальном блоге: https://yandex.ru/blog/company/korolev

Чем будут озадачены сеошники в связи с его появлением? До этого интеллектуальный поиск представлял «Палех», в анонсе в 2016 году обязательно почитайте о нейронных сетях и изменениях в работе сео специалистов над

Цитирую новость:

«Яндекс запустил новую версию поиска, основанную на алгоритме «Королёв» - он использует нейронную сеть, которая способна сопоставлять смысл запросов и веб-страниц. Это позволяет поиску с высокой точностью отвечать на редкие и сложные вопросы. Для обучения искусственного интеллекта Яндекс задействует не только поисковую статистику, но и распределенную сеть ассесоров и толокеров, а также оценки миллионов пользователей.»

Важная особенность «Королёва» в том, что помимо сопоставления смысла запроса и страницы, он учитывает ещё и смысл других запросов, которым страница релевантна.

Сравнение алгоритмов 2016 и 2017 года

«Палех» в реальном времени сопоставлял смысл запроса и заголовка веб-страницы. «Королёв» же использует нейронную сеть, которая анализирует уже всю страницу.»

В марте 2017 года Яндекс ввел новый алгоритм ранжирования Баден-Баден для борьбы с перенасыщенностью ключевыми словами. Тогда и заговорили о важности LSI-копирайтинга.

Что такое LSI-тексты и как их писать

ЛСИ копирайтинг (lsi - latent semantic indexing или латентно-семантический индекс) – это не привычные seo тексты, насыщенные ключевыми фразами, а полное раскрытие смысла ключевых запросов в интересной для читателя форме.

В данной методике написания главную роль играют фразы по теме статьи. Редкие речевые обороты, понятные только узким специалистам той или иной области употреблять не следует. Исключение составляют технические статьи.

Важно, чтобы пользователь получил исчерпывающий ответ на свой вопрос (поисковый запрос).

Теперь о конкретных действиях при наполнении и продвижении сайтов. На что нужно обратить внимание в первую очередь.

• Использовать синонимы теперь стало еще важнее, чем раньше.
• Так же важно употреблять в текстах кроме ключевых слов и тематические.
• Не забывать добавлять подсказки (фразы, которые вы видите при наборе запроса в поисковой строке), фразы из нижней части страницы выдачи (вместе с этим ищут …) подсветки.
• Так же из статистики Яндекс.Вордстат: «Что искали со словом…»

Подсказки:

Фразы из нижней части страницы выдачи:

Подсветки:

• Яндекс и гугл по-разному формируют сниппет. Google берет из тайтла и дексрипшена, а яндекс может выбрать кусок релевантного запросу текста. Поэтому, чем интересней и привлекательней будет этот кусок, тем будет больше переходов на сайт из выдачи благодаря сниппету.

Отличия LSI и SEO оптимизации

В SEO ключевые слова и фразы вставляются в заголовки, контент и мета теги.

• В LSI ключи могут быть или не быть. Цель – это дать исчерпывающий ответ на предполагаемый вопросы посетителя. Если ключ лишний для конкретной статьи, то его лучше не использовать.
• В SEO мы стремимся к определенному проценту плотности ключевых слов.

В LSI употребляется максимум дополнительных тематических и релевантных слов и словосочетаний.

• В SEO мы стремимся к достижению уникальности по техническим параметрам.

В LSI важна смысловая уникальность и исчерпанность контента.

Заключение

ЛСИ тексты могут быть в топе по запросам, которых нет в чистом виде на самой странице.

С LSI-индексированием нужно забыть о нетематических врезках.

Алгоритм ранжирования сайтов в Яндексе непрерывно подвергается изменениям и дополнениям: добавляют новый функционал, обновляют ограничения, фильтры… Очень долгое время учет всех алгоритмов ранжирования вели только внутри компании и, когда его резко обновляли, пользователи негодовали и, откровенно говоря, мало что понимали.

Занимало не мало времени на исследования алгоритмов ранжирования Яндекса, поиск ответов на тему фильтров и как не попасть в «черный список». Сейчас все чуть проще, но не на столько, чтобы оставить без внимания разбор принципа работы Яндекса.

Алгоритмы Яндекса имеют уже довольно долгую историю создания и становления, еще с далекого 1997 года. С того времени Яндекс изменился и появлялись все новые алгоритмы и новые фильтры. Начнем свой «разбор полетов», пожалуй, с самых «свежих» алгоритмов.

Новый алгоритм Яндекса «Баден-Баден». 2017 год

Яндекс новый алгоритм определения текстового спама под названием «Баден-Баден».
Алгоритм создан для борьбы с «накруткой» релевантности путём написания бесполезных для пользователя и «переоптимизированных» текстов (с большим количеством вхождений ключей).

Как говорится в блоге Яндекса, алгоритм, определяющий текстовый спам, существенно изменен и улучшен. Сами авторы публикации утверждают, что данный алгоритм «является частью общего алгоритма ранжирования, результатом его работы может стать ухудшение позиций переоптимизированных страниц в результатах поиска». И что же это могло бы означать?

Во-первых, если его «переработали и улучшили», то, скорее всего, этот алгоритм создан для замены уже привычных фильтров «переспам» и «переоптимизация». А если он действительно «является частью общего алгоритма ранжирования», то и диагностировать наличие «штрафов», накладываемых данным алгоритмом, ясное дело, будет труднее.

Новый алгоритм Яндекса 2016 год. «Палех»

Алгоритм будет стараться сопоставить смыслы запроса с помощью нейросетей, а не просто сопоставлять ключевики, как это делалось обычно. Это делалось для того, чтобы обеспечить наилучшую выдачу по редчайшим запросам пользователя. Новый алгоритм основан на нейронных сетях и помогает Яндексу находить соответствие между поисковым запросом и заголовками страниц, даже если у них нет общих ключевых фраз. Чтобы понять, что фактически произошло, несколько цитат из официального блога компании Яндекс:

В нашем случае мы имеем дело не с картинками, а с текстами - это тексты поисковых запросов и заголовков веб-страниц, - но обучение проходит по той же схеме: на положительных и отрицательных примерах. Каждый пример - это пара «запрос - заголовок». Подобрать примеры можно с помощью накопленной поиском статистики. Обучаясь на поведении пользователей, нейросеть начинает «понимать» смысловое соответствие между запросом и заголовками страниц.

Семантический вектор применяется не только в поиске Яндекса, но и в других сервисах - например, в Картинках. Там он помогает находить в интернете изображения, которые наиболее точно соответствуют текстовому запросу.

Технология семантических векторов обладает огромным потенциалом. Например, переводить в такие векторы можно не только заголовки, но и полные тексты документов - это позволит ещё точнее сопоставлять запросы и веб-страницы.
Внедрение нового алгоритма Яндекс – это еще один значимый аргумент в пользу продвижения по низкочастотным запросам для тех, кто занимается развитием и продвижением сайтов. Перспективы развития нового алгоритма Яндекса лишь подтверждают верность выбранного направления, ведь в недалеком будущем речь пойдет об улучшенном распознавании не только заголовков, но и всего текстового документа в целом (!).

В Яндексе график частотного распределения представляют в виде птицы, у которой есть клюв, туловище и длинный хвост, характерный жар-птице

• Клюв - самые высокочастотные запросы. Список таких запросов не очень большой, но их задают очень-очень часто.
• Туловище -среднечастотные запросы.
• Хвост - низкочастотные и микронизкочастотные запросы. «По отдельности они встречаются редко, но вместе составляют существенную часть поискового потока, и поэтому складываются в длинный хвост».

Такой хвост принадлежит птице, которая довольно часто фигурирует на палехской миниатюре. Именно поэтому алгоритм получил название «Палех».

Все алгоритмы Яндекса. (2007-2017 года)

• 2 июля 2007 год . «Версия 7». Новая формула ранжирования, повышение числа факторов, анонс состоялся только на searchengines.guru .
• 20 декабря 2007 год . 17 января 2008 год. «Версия 8» и «Восьмерка SP1». Авторитетные ресурсы получили значимый плюс в ранжировании, внедрение фильтрации «прогонов» для накрутки ссылочных факторов.
• 16 мая, 2 июля 2008 год . «Магадан» (Fast Rank для быстрого подбора претендентов, мягкость, расширение базы аббревиатур и синонимов, расширенные классификаторы документов), «Магадан 2.0» (уникальность контента, новые классификаторы запросов пользователей и документов).
• 11 сентября 2008 год . «Находка» (учёт стоп-слов в поисковом запросе, новый подход к машинному обучению, тезаурус).
• 10 апреля, 24 июня, 20 августа, 31 августа, 23 сентября, 28 сентября 2009 год.
  «Арзамас / Анадырь» (учёт региона пользователя, снятие омонимии), «Арзамас 1.1» (новая региональная формула для ряда городов, кроме Москвы, Санкт-Петербурга и Екатеринбурга), «Арзамас 1.2» (новый классификатор геозависимости запросов), «Арзамас+16» (независимые формулы для 16 регионов России), «Арзамас 1.5» (новая общая формула для геонезависимых запросов), «Арзамас 1.5 SP1» (улучшенная региональная формула для геозависимых запросов).
• 17 ноября 2009 год . «Снежинск» (запуск технологии машинного обучения MatrixNet, кратный рост числа факторов ранжирования, 19 локальных формул для крупнейших регионов России, сильнейшие изменения выдачи).
• 22 декабря 2009 год. 10 марта 2010 год . «Конаково» (неофициальное название, но далее будет именно Обнинск, свои формулы для 1250 городов по всей России), «Конаково 1.1» («Снежинск 1.1») - обновление формулы для геонезависимых запросов.
• 13 сентября 2010 год . «Обнинск» (перенастройка формулы, повышение производительности, новые факторы и ранжирование для геонезависимых запросов, доля которых в потоке составляет более 70%).
• 15 декабря 2010 год . «Краснодар» (технология «Спектр» и повышение разнообразия выдачи, разложение запроса пользователя на интенты), далее: повышение локализации выдачи по геозависимым запросам, независимые формулы для 1250 городов России.
• 17 августа 2011 год . «Рейкьявик» (учёт языковых предпочтений пользователей, первый шаг персонализации выдачи).
• 12 декабря 2012 год . «Калининград» (существенная персонализация выдачи: подсказки, учёт долгосрочных интересов пользователя, повышение релевантности для «любимых» сайтов).
• 30 мая 2013 год . «Дублин» (дальнейшая персонализация выдачи: учёт сиюминутных интересов пользователей, подстройка результатов выдачи под пользователя прямо во время поисковой сессии).
• 12 марта 2014 год . «Началово»*, «Без ссылок» (отмена учета ссылок / ряда ссылочных факторов в ранжировании для групп коммерческих запросов в Московском регионе).
• 5 июня 2014 год . «Одесса»*, «Острова» (новый «островной» дизайн выдачи и сервисов, внедрение интерактивных ответов, в дальнейшем эксперимент был признан неуспешным и завершен).
• 1 апреля 2015 год . «Амстердам»*, «Объектный ответ» (дополнительная карточка с общей информацией о предмете запроса справа от результатов выдачи, Яндекс классифицировал и хранил в базе десятки миллионов различных объектов поиска).
• 15 мая 2015 год . «Минусинск» (понижение в ранжировании сайтов с избыточным числом и долей SEO-ссылок в ссылочном профиле, массовое снятие SEO-ссылок, дальнейшее возвращение учёта ссылочных факторов в ранжировании по всем запросам в Московском регионе).
• 14 сентября 2015 год (± 3 месяца). «Киров»*, «Многорукие Бандиты Яндекса» (рандомизированная добавка к численному значению релевантности ряда документов с оценкой «Rel+», с целью сбора дополнительной поведенческой информации в Московском регионе, в дальнейшем - рандомизация была внедрена и в регионах России).
• 2 февраля 2016 год . «Владивосток» (учёт адаптированности сайта к просмотру с переносных устройств, повышение в результатах мобильной выдачи адаптированных проектов).
  * - неофициальные названия алгоритмов, города подобраны на усмотрение автора с целью соблюдение очередности.

И завершающими на данный момент (мы же развиваемся) алгоритмами являются вышеописанные алгоритмы с эпичными и неординарными названиями «Палех» и «Баден-Баден».

Все фильтры Яндекса и их виды.

В Яндексе множество фильтров, которые могут примениться как к сайту в целом, так и на отдельные его страницы в частности. К сожалению, не всегда понятно, какой именно из фильтров из их множества и за какие нарушения наложен на сайт – сейчас любое малейшее несоответствие при использовании стандартных методов продвижения может быть распознан как «переспам». Итог: пессимизация.

Все фильтры Яндекса (в зависимости от их появления) можно разделить на 3 вида:

— Предфильтры: дисконтируют значение каких-либо факторов еще до того, как рассчитана релевантность сайта. Действие предфильтров можно заметить не сразу – обычно оно проявляется в «залипании» сайта на каких-то местах (сайт дошел до 2 страницы и не двигается дальше, несмотря на наращивание ссылочной массы, например).
— Постфильтры: обнуляют значение того или иного фактора уже после того, как рассчитана релевантность сайта. Не заметить этот тип фильтров сложно – именно они проявляются в резком падении позиций и трафика с Яндекса. Практически все фильтры за накрутку внутренних факторов можно отнести к постфильтрам.
– Фильтрация перед выдачей: это когда релевантность сайта рассчитана, но по каким-то причинам в выдачу он не допускается.
— Бан : Редко, но до сих пор встречается полное исключение сайта из выдачи за грубые нарушения поисковой лицензии.

Судя по всему Яндекс довольно требователен к качеству сайтов и при каждом подходящем случае напоминает нам о своей официальной позиции – развивай свой сайт, ориентируйся на «живого» пользователя и если оценка сайта от Яндекса будет «на отлично» — твой сайт не оставят без внимания. Оптимизируйте сайт так, чтобы оптимизация не вредила, а, наоборот, помогала юзерам ориентироваться на вашем сайте.