Как работает поисковая система Yandex? Обзор и характеристика поисковых систем сети Internet.

Уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас – это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса.

Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обрабатки запросов пользователей, о том, из чего эти системы состоят и как функционируют…

Данный мастер-класс призван дать ответ на вопрос о том, как работают поисковые системы. Однако, Вы не найдете здесь факторов, влияющих на ранжирование документов. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, - директора по технологиям и разработке поисковой машины «Яндекс», можно узнать, лишь «под пыткой» самого Ильи Сегаловича…

2. Понятие и функции поисковой системы

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

Полнота
Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.
Точность
Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.
Актуальность
Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.
Скорость поиска
Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.
Наглядность

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

URL страницы
дата, когда страница была скачана
http-заголовок ответа сервера
тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

6. Заключение

Теперь подытожим все вышесказанное.

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
Основные характеристики поисковых систем:
1. Полнота
2. Точность
3. Актуальность
4. Скорость поиска
5. Наглядность
Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
В состав поисковой системы входят компоненты:
1. Модуль индексирования
2. База данных
3. Поисковый сервер

Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

Интернет сегодня - это кладезь информации планетарных масштабов, где каждый житель Земли способен найти практически всё, что ему требуется. Обладая немыслимыми объёмами данных и сведений, человечество также имеет все необходимые средства для максимально быстрого и комфортного поиска того, что требуется каждому в определённый момент времени. Этими средствами являются поисковые системы, которыми каждый из нас пользуется ежедневно: Google, Yandex, Rambler, Yahoo и многие другие технологии со своими уникальными возможностями под разные предпочтения.

И объединяет их ровным счётом одно простое свойство - ни одна из систем не является неким сверхтехнологичным центром, хранящим в своих ресурсах невообразимое количество информации на все случаи жизни. Все они по своей сути являются путеводителями для пользователей по огромным просторам Интернета и работают по определённым программным алгоритмам.

поисковой машины «Яндекс»: базовые основы

Функционал «Яндекса» позволяет довольно гибко сортировать все получаемые результаты с учётом конкретных доменов, регионов, языков и многих других параметров. Формат вводимых данных и получаемые результаты могут настраиваться и фильтроваться пользователями при помощи простых комбинаций символов. Благодаря этому существенно повышаются эффективность и удобство поиска.

Каждый запрос от пользователя сначала отправляется на наиболее свободный сервер (сразу после автоматического анализа на загруженность системы), после чего его обработкой занимается программа «Метапоиск». Софт в реальном времени проводит анализ введённой информации в поисковой строке на предмет лингвистики, географического положения пользователя, принадлежности запроса к категориям «наиболее популярных»/«недавно заданных» и т. д. Результаты поиска для этих случаев на некоторое время сохраняются в кэше «Метапоиска», благодаря чему выдача необходимой информации осуществляется быстрее.

В случае поиска более редкой информации, сведения о которой в кэше отсутствуют, обработка запроса перенаправляется к другому программному механизму - «Базовый поиск». Тот анализирует всю базу данных, разбитую по различным дублирующимся серверам для ускорения процессов поиска, и выдаёт найденную информацию обратно «Метапоиску».

Все полученные данные в итоге упорядочиваются и предъявляются пользователю в готовом, удобно воспринимаемом виде. Весь процесс в среднем занимает максимум 1-2 секунды.

Правильный поиск в «Яндекс»: язык поисковых запросов и особенности синтаксиса

Наличие определённых слов в полученных результатах, а также их взаимное расположение можно легко настраивать при помощи специальных операторов, формирующих язык поисковых запросов «Яндекса».

Оператор	Функция	Пример использования
+	Отображение результатов по тем ресурсам, в которых обязательно есть обозначенное оператором слово. Язык запросов поисковой системы «Яндекс» допускает многократное использование при наличии двух или более слов в запросе.	всемирная+паутина+интернет «Яндекс» выдаст те результаты, которые точно содержат слова «паутина», «интернет» и, возможно, «всемирная».
"	Поиск по конкретно заданной форме или последовательности символов.	"уходит далеко в багровый закат" Результаты поиска обязательно будут содержать в себе данную фразу без изменений.
*	Используется только лишь с предыдущим оператором. Данный символ позволяет организовать поиск цитаты с пропущенными словами.	уходит в багровый закат* Поисковик выдаст результаты с данной цитатой и пропущенным словом. уходит * закат* Поисковик выдаст результаты с данной цитатой и пропущенными словами.
&	Поиск результатов с предложениями, которые содержат объединённые данным оператором слова.	красиво & интерьер & дом Пользователю будут представлены результаты, в которых как минимум одно предложение содержит данный набор слов (их можно задавать оператором от двух и более).
&&	Поиск ресурсов, которые просто содержат данный набор слов.	референдум && Великобритания && Европа & кризис Будут выданы все результаты, содержащие эти слова вне зависимости от расстояния и расположения друг к другу.

По признакам служебной информации

Существуют операторы поисковых запросов «Яндекс» для уточнения сведений по таким параметрам, как: заголовки, типы файлов, хост, домены, дата последнего изменения страниц результатов и их язык.

Оператор	Функция	Пример использования
title:	Поиск по документам, содержащим слова из запроса в заголовках.	title: машиностроение Будут найдены документы со словом «машиностроение» и его словоформами в заголовке. title: (машиностроение ФРГ) Будут найдены документы с заголовками, содержащие слова «машиностроение» и «ФРГ» (для запросов, в которых нужно скомбинировать для поиска два и более слова, необходимо ставить скобки).
mime:	Поиск по документам определённого формата.	шаблон резюме mime:docx Результатами поиска будут все документы формата.docx, которые содержат слова «шаблон» и «резюме».
host:	Поиск по страницам, которые размещены на определённом хосте.	законопроект host:www.yandex.ru На хосте www.yandex.ru будет проведён поиск по всем документам, содержащим слово «законопроект».
domain:	Поиск по страницам всего домена.	хилари клинтон host:www.whitehouse.gov На домене www.whitehouse.gov будет проведён поиск всех документов, содержащих слова «хилари» и «клинтон».
date:	Поиск по страницам с учётом даты их последнего изменения (использование языка запросов «Яндекс» предусматривает также отсутствие значения дня и месяца, если их заменить символом *).	событие дня date:20160624 Будут найдены все документы, содержащие слова «событие» и «дня», а также их словоформы, дата последних изменений которых соответствует 24.06.2016 саммит date:20150819..date20150909 Поиск результатов, дата последних изменений которых находится в интервале от 19.08.2015 до 09.09.2015 круиз date:>20160611 Отображаются все результаты, дата последних изменений которых позднее 11.06.2016 < - дата последних изменений ранее указанного срока >= - последние изменения сделаны позднее или в этот же указанный срок <= - последние изменения сделаны ранее или в этот же указанный срок
lang:	Поиск по страницам на конкретно указанном языке: ru - русский be - беларуская uk - українська en - english fr - français de - deutsch kk - қазақ tt - tatarça tr - türkçe	green card lang:en Поиск англоязычных документов по данному запросу.

Практически любой зарубежный аналог имеет подобный язык запросов. Язык поисковых запросов «Яндекса», в свою очередь, от конкурентов по большому счёту отличается чуть более расширенными возможностями и функциями.

Морфологические уточнения

По умолчанию поисковик предлагает пользователю широкий спектр выдаваемых результатов по введённому запросу, основу чего составляет не только само введённое слово/фраза, но и различные его формы (падеж, род, склонение, число и т. д.). Также учитываются вариации части речи (будь то существительное, глагол, прилагательное и т. д.) и регистр первой буквы. К примеру, при вводе в поисковую строку «атаковал» пользователь получит информацию и по прочим глагольным формам: «атаковать», «атакую», «атакован» (но однокоренные слова наподобие «атака», «атакованный», учитываться не будут). При этом будут показаны результаты как с заглавной первой буквой в запрошенном слове, так и с маленькой.

Практически все особенности языка запросов различных поисковых систем основаны на подобных принципах работы. В «Яндексе» ограничение по морфологическим признакам может пригодиться для более точной работы поисковика:

Оператор

Функция

Пример использования

Поиск слова исключительно в заданной форме. Язык поисковых запросов «Яндекса» допускает многократное использование оператора при наличии двух или более слов в запросе.

!интернет

«Яндекс» выдаст все результаты в заданной форме запроса с заглавной и строчной первой буквой.

!Интернет

«Яндекс» выдаёт результаты по заданной форме запроса, начинающиеся исключительно с заглавной буквы.

Чуть более широкий поиск слова и производных его форм.

!!пень

Будут выданы результаты любой из форм этого слова («пнём», «пну», «пеньком» и т. д.), однако результаты со схожей словоформой глагола «пинать» будут исключены.

Специальные методы подбора ключевых слов под контекстную рекламу

Языки поисковых запросов также распространяются далеко за пределы пользовательского сегмента, награждая простыми рабочими инструментами и рекламодателей. В частности, для подобных целей «Яндекс» имеет на вооружении целый ряд алгоритмов и операторов, позволяющих эффективно продвигать свои сайты и услуги в поисковой системе.

Логика показа контекстной рекламы на запросы пользователя основана на подборе слов, тематически относящихся к предмету этого объявления, а также на иных их словоформах. Например, подобные методы позволяют показывать объявление о юридических услугах не только лишь в ответ на «юридические услуги в городе N», а ещё и тем пользователям, которые делали схожие запросы (будь то «адвокаты город N цены», «адвокатские конторы», «юрист город N дёшево» и т. п.). В результате реклама будет отображаться более широкой аудитории пользователей, и это, соответственно, потенциально привлечёт больше внимания к ней.

Однако объявления должны быть показаны лишь тем пользователям, которые делают тематически смежные запросы в поисковике. К примеру, реклама юридических курсов никак не будет эффективной, если она будет показана пользователям, нуждающимся в услугах адвоката на данный момент. Регулирование подобных моментов осуществляется с помощью целого перечня операторов в поисковой системе «Яндекс». Описание языка запросов для рекламных задач в целом будет выглядеть так, как показано ниже.

Оператор	Функция	Пример использования
-	Исключение для слов в запросах, когда объявление показываться не будет. Допускается многократное использование оператора при необходимости задать два или больше исключений.	юрист-курсы-дёшево Объявление будет показываться по всем запросам со словами «юрист» и «дёшево», но исключая те, которые содержат в себе слово «курсы». юрист-курсы-практика
+	Отображение рекламы для тех запросов, в которых есть определённое слово/слова.	+аренда +квартиры+Сочи недорого
!	Оператор служит определением конкретной формы слова в запросах, согласно которой сообщение будет показываться (либо наоборот).	!клуб!Лепассо Реклама показывается только для тех запросов, в которых содержится хотя бы одно из этих двух слов в конкретно заданной форме. При этом «Лепассо» в запросе обязательно должно начинаться с заглавной буквы для отображения объявления. !клуб!Лепассо-!пейнтбол
	Группировка слов для сложных запросов, состоящих из нескольких слов (язык поисковых запросов «Яндекса» позволяет использовать эту функцию для двух или более слов).	машина-(аренда напрокат) Объявление будет показываться при запросе, содержащих слово «машина», но в то же время не имеющие слова «аренда» и «напрокат». +(машина купить Владивосток) дёшево
""	Показ объявления для запросов, содержащих только слова в кавычках или их словоформы.	"программист" Реклама показывается для запросов этого слова и его словоформ наподобие «программиста», «программисту». В то же время объявление не будет показано для таких запросов пользователей, как «программист ремонт компьютера недорого», «программист взлом сайта».

Уроки комфорта и простоты от поисковых подсказок «Яндекса»

Упрощение процесса ввода поисковой информации при помощи подсказок воспринимается уже без какого-либо ажиотажного восторга. Такая технология сегодня есть в каждой популярной поисковой системе, основывается она на предварительной выдаче популярных запросов, схожих с введёнными пользователем в поисковую строку буквами.

«Яндекс» эту систему реализует посредством некоторых фирменных особенностей. Все наборы подсказок обрабатываются и группируются из числа наиболее массовых запросов пользователей. Используются также и научные термины из энциклопедических статей, названия фильмов, музыкальных произведений и иного тематически подходящего контента. В итоге пользователь с момента ввода самой первой буквы в поисковую строку получает под нею целый перечень вариантов наиболее популярных запросов, начинающихся с тех же символов.

К тому же в подсказках могут сразу указываться ссылки на нужные сайты или же ответ на заданный вопрос. К примеру, достаточно ввести половину запроса «длина окружности», как в соответствующем поле под поисковой строкой пользователю будет представлена готовая формула расчёта. Спрашивая «столица Австралии», вы не успеете дописать фразу до конца, как «Яндекс» тут же выдаст эти сведения в перечне подсказок.

Если же ссылка на какой-либо сайт будет релевантным ответом на запрос, то этот адрес будет доступен сразу в том же поле. Такой подход позволит быстрее перейти на нужный ресурс, минуя список всех найденных результатов.

Фильтрация непотребного контента

Функционал «Яндекса» также предусматривает исключение ресурсов «18+» из поисковых результатов вне зависимости от используемых средств языка запросов. Полезна эта функция будет в первую очередь для защиты малолетних пользователей от «материалов для взрослых» в Сети. И даже если ребёнок не стесняется использовать в действии все средства, которыми богат язык поисковых запросов «Яндекса», то это всё равно ему никак не поможет преодолеть барьер от подобных сайтов.

В поиске «Яндекса» для пользователей предусмотрено 3 режима :

«Без защиты» - какие-либо ограничения на выдаваемые результаты полностью отсутствуют.
«Умеренный» - если запрос пользователя явно не направлен на поиск сайтов «18+», то они в таком случае изымаются из результатов поиска.
«Семейный» - нецензурный контент полностью отсутствует в результатах поиска.

Все эти варианты защиты от недетского содержимого контролируются в соответствующем меню настроек «Яндекса».

Дополнительные функции поисковой машины

Помимо широкого спектра различных операторов языка запросов, «Яндекс» также предлагает ещё пару способов поиска информации:

«Расширенный» - более приятный сервис с интуитивно понятной структурой для тех, кто нуждается в использовании средств языка запросов. Достаточно только ввести в соответствующие поля необходимые параметры (поиск по конкретному ресурсу, регион, точность совпадения со словами поискового запроса, поиск по заголовкам, язык, формат документа, дата последнего обновления и т. д.), не прибегая к менее комфортному ручному вводу операторов. «Расширенный поиск» и язык запросов «Яндекса» - один и тот же функционал, но с разницей в том, что первый предлагает использование тех же операторов в более удобной форме.

«Дзен-поиск». Основываясь на истории поисковых запросов пользователя, «Яндекс» предлагает последнему сервис публикаций в СМИ. Доступен только для мобильных устройств и внешне представляет собою набор из превью новостей, подобранных согласно истории просмотров. Пользователь может выбрать любую понравившуюся публикацию, прочитать несколько первых абзацев и, если она ему интересна, перейти на сайт издателя по этому материалу. В противном случае достаточно выбрать "Не нравится" для того, чтобы не отображать конкретную новость или отметить таким образом весь ресурс, исключая его из своей новостной ленты.

Механизмы защиты от нежелательной и вредоносной информации

Основным свойством любой поисковой машины являются не только лишь разнообразные операторы поисковых запросов. «Яндексу» также характерен высокий уровень безопасности всех найденных результатов. Базовая проверка страниц и предупреждения о вредоносных сайтах у этой поисковой системы появились в 2009 году. Обнаружение угроз осуществляется двумя технологиями:

Антивирусная защита, приобретённая у компании Sophos и основанная на сигнатурном подходе: обращение антивирусной системы при заходе пользователя на веб-страницу к базе данных, содержащей информацию об известном вредоносном ПО. Невзирая на высокую скорость работы, подобная технология практически полностью бесполезна в случае столкновения с новыми вирусными угрозами. Поэтому «Яндекс» дополнительно использует и вторую технологию.
Фирменный антивирусный комплекс, основу которого составляет Сначала защита при обращении к сайту анализирует, делает ли он запрос у браузера дополнительных файлов, перенаправляет ли на посторонний ресурс и т. д. Если обнаруживаются посторонние действия ресурса без ведома пользователя (запуск модулей JavaScript, полноценных программ, каскадных таблиц стилей), то он заносится в чёрный список опасных сайтов и базу вирусных сигнатур. Владелец самого сайта также будет уведомлён об этих угрозах, и все последующие проверки будут периодически проводиться вплоть до того момента, как все проблемы безопасности на нём не будут полностью устранены.

Подобный подход к анализу предоставляемых страниц с результатами поиска в сочетании с фирменными технологиями «Яндекса» позволили минимизировать процент заражённых сайтов в этом поисковике до единиц. Ежедневные проверки «Яндекса» охватывают в общей сложности до 23 миллионов ресурсов, а за месяц это число доходит примерно до 1 миллиарда.

Самое простое применение поисковой системы, это поиск текстовых файлов на собственном компьютере. Нечто вроде дополнения к файловому менеджеру. Вещь очень нужная и полезная. Вы вводите слова, содержащиеся в тексте документа, вам выдается список файлов. Такие системы, пригодны для поиска в массиве из нескольких тысяч небольших документов, расположенных на ПК пользователя. Эти системы ищут только документы, для поиска информации, например справочного характера, они непригодны.

Поисковые системы для корпоративных пользователей. Такие программы предназначены для работы с массивами текстовых документов предприятия имеющих объемы от нескольких гигабайт до нескольких десятков гигабайт. Кроме того, такие программы обязательно реализованы в сетевом варианте, при котором доступ к базе данных на сервере локальной сети, осуществляется с рабочих станций сотрудников.

Поисковые системы для интернет проектов. Предназначены для поиска htmlдокументов в Интернете. Рассчитаны на упрощенный поиск в большом количестве небольших документов. Результат поиска в таких системах – список ссылок наhtmlфайлы в сети плюс короткие цитаты из контекста, обычно по одной. Из-за больших объемов информации в сети эти программы должны иметь очень высокую скорость поиска. Из-за большого количества мусора в сети, необходима сортировка выдачи по степени релевантности или другим критериям (например рейтингу сайта).

Самое сложная задача, это поиск информации в больших полнотекстовых массивах. В базы данных таких систем могут закачиваться любые текстовые источники информации, в том числе большого объема: энциклопедии, справочники, архивы периодических изданий, целые библиотеки специальной литературы, архивы документов корпораций, специализированные архивы типа исторических, патентных, судебных, расшифровки разговоров, протоколы и многое другое. Если в ответ на Ваш конкретный запрос система выдаст ссылку на энциклопедию, то это Вряд ли Вас обрадует. Если в этой энциклопедии сто ответов на запрос, то система должна обработать каждый и выдать отдельно все соответствующие тексты. Такая система должна искать не просто документы, а информацию, содержащуюся в них.

Если поисковая система предназначена для индексации и поиска информации в глобальной сети или для доступа к большим хранилищам текстовой информации, объёмом до десятков терабайт, то программное обеспечение системы разрабатывается специально для комплекса серверов, в качестве которых используются мощные специализированные компьютеры типа кластерных систем, имеющих десятки параллельно работающих процесооров и большой объем оперативной памяти. Например, поисковая система Google в качестве аппаратной базы использует сеть из нескольких тысяч таких суперкомпьютеров, размещенных по всему миру.

Программы для различных категорий пользователей

Программа для реализации собственного проекта. Обычно создается для поисковой системы в интеренете, интранет сети большой организации, крупного банка текстовых данных с доступом через сеть (например национальная библиотека). Для реализации проекта создается команда проектировщиков, программистов и т.п., которая самостоятельно или с посторонней помощью создает, сопровождает и развивает систему.

В случае успешно созданного проекта, комплекс программ может быть доработан до необходимой степени универсальности и использован для разработки поисковых систем на заказ. Самостоятельно такой программный комплекс не поставляется, так как требует конфигурации и настройки программных средств под требования заказчика, частичной доработки программ, постоянного сопровождения на случай сбоев системы.

Если программный комплекс доработан настолько, что -покрывает потребности большого круга пользователей, не требует постоянного сопровождения разработчиков, имеет программный интерфейс, доступный программистам среднего уровня, сопровождается качественной документацией, не использует чужих компонентов без лицензии, то он может поставляться на рынок как инструментарий разработчика. В этом случае фирма-поставщик имеет более-менее определенные цены на свою продукцию. Обычно имеется несколько стандартных версий, представляющих урезанные варианты полной конфигурации.

Программы для конечного пользователя. Представляют собой готовый коммерческий продукт. Имеют хорошо отработанный пользовательский интерфейс, позволяющий обычному пользователю управлять всеми функциями системы. Обычно разработаны «с нуля», без использования «чужих» программных средств. Такие программы распространяются в «коробочном» варианте по определенной цене.

Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и , понять устройство и основные функции поисковых машин.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.

Основные характеристики поисковых систем

Обозначим главные характеристики поиска:

Полнота.

Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

По данным на сентябрь 2015 года , доли поисковых систем в мире распределены следующим образом:

Google - 69,24 %;
Bing - 12,26 %;
Yahoo! - 9,19 %;
Baidu - 6,48 %;
AOL - 1,11 %;
Ask - 0,23 %;
Excite - 0,00 %

По данным на декабрь 2016 года , доли поисковых систем в Рунете:

Яндекс - 48,40%
Google - 45,10%
Search.Mail.ru - 5,70%
Rambler - 0,40%
Bing - 0,30%
Yahoo - 0,10%

Принципы работы поисковой системы

В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

URL скаченной страницы;
дата, когда осуществлялось скачивание страницы;
заголовок http-ответа сервера;
html-код, «тела» страницы.

Crawler («путешествующий» паук). Данная программа автоматически заходит на все ссылки, которые найдены на странице, а также выделяет их. Его задача – определиться, куда в дальнейшем должен заходить паук, основываясь на этих ссылках или исходя из заданного списка адресов.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

База данных (или индекс поисковика) - комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Поисковый сервер работает следующим образом:

Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).

Все эти элементы тесно связаны между собой и функционируют, взаимодействуя, образовывая отчетливый, но достаточно непростой механизм функционирования ПС, требующий громадных затрат ресурсов.

Основой работы поисковых систем как Google, так и Яндекс является система кластеров. Вся информация делится на определенные области, которые относятся к тому или иному кластеру. Индексация сайтов с целью получения данных о размещенной на них информации выполняется роботами-сканерами. Существуют следующие виды сканирующих роботов: основной робот-сканер и робот-сканер, отвечающий за сбор информации на ресурсах с частым обновлением содержания. Второй тип сканирующего робота предназначен для быстрого обновления списка проиндексированных ресурсов и значения их индексов в поисковой системе. Для наиболее полного обеспечения сбора информации в системе Яндекс применяются обновления базы поиска и обновления программного кода:

База поисковой информации обновляется несколько раз в течение месяца, при этом на поисковые запросы выдается обновленная информация с сайтов. Такая информация добавляется с помощью основного робота-сканера.
При обновлении программного кода или «движка» выявляются недостатки и изменяются алгоритмы, отвечающие за ранжирование ресурсов в поисковой системе. Как правило, перед выходом таких обновлений Яндекс публикует соответствующие анонсы.

Основная особенность системы Яндекс, делающая популярной ее среди русскоязычных пользователей, – это способность определять различные словоформы с учетом морфологических особенностей русского языка. При этом значения запроса с помощью геотаргетинга и формул поиска преобразуется в максимально точную формулировку. Кроме того, Яндекс отличается алгоритмом по определению релевантности индексируемых страниц (релевантностью называют соотношение содержания веб-страницы к содержанию поискового запроса). Также к положительным сторонам можно отнести высокую скорость ответной реакции на запросы и устойчивую, без перегрузок, работу серверов.

Большое значение для поисковой системы имеют динамические ссылки, наличие которых может привести к отказу от индексации ресурса поисковым роботом.

В процессе индексации Яндекс распознает текстовую информацию в документах с расширениями: .pdf, .rtf, .doc, .xls, .ppt. Последние два относятся к программам входящими в комплект Microsoft Office: Excel и PowerPoint.

При индексировании сайта поисковая система считывает данные из файла robots.txt, при этом поддерживается атрибут Allow и часть метатегов, а метатеги Revisit-After и Keywords игнорируются.

Так как сниппеты – краткие описания текстовых документов – составляются из фраз на искомой странице, то использование описания в теге не является обязательным, но может использоваться в отдельных случаях.

По заявлениям разработчиков кодировка индексируемых документов определяется автоматически, а значит, и метатег кодировки не имеет большого значения.

Поисковая система большое значение придает показателю последнего изменения информации (Last-Modified). Если сервер не будет передавать эту информацию, то процесс индексации данного ресурса будет происходить намного реже.

Пока что остается нерешенной проблема страниц, использующих фреймовые структуры, но она может быть обойдена с помощью скриптов, отправляющих пользователей поисковой системы в нужное место сайта.

Если у сайта существуют «зеркала» (например, http://www.site.ru, http://site.ru, https://www.site.ru, https://www.site.ru), необходимо принять соответствующие действия для исключения их из процесса индексации. Если индексацию «зеркал» избежать не удалось, можно «склеить» их путем внесения необходимой информации в robots.txt.

В случае попадания сайтов в Яндекс.Каталог система будет идентифицировать их как заслуживающих отдельного внимания, что может повлиять на продвижение сайтов. Также это способствует упрощению процедуры определения тематики сайта, что в свою очередь означает получение сайтом значимой внешней ссылки.

Команда поисковой системы Яндекс держит в секрете IP-адреса своих роботов. Но в лог-файлах отдельных сайтов можно встретить текстовые пометки, оставленные поисковыми роботами Яндекс.

Одними из самых интересных роботов-сканеров поисковой системы Яндекс можно назвать:

Yandex/1.01.001 (compatible; Win16; I) – основной робот, занимающийся непосредственно индексацией сайтов;
Yandex/1.01.001 (compatible; Win16; P) – робот-индексатор изображений;
Yandex/1.01.001 (compatible; Win16; H) – робот, который выявляет «зеркала» индексируемых сайтов;
Yandex/1.02.000 (compatible; Win16; F) – робот-индексатор пиктограмм ресурсов (favicons);
Yandex/1.03.003 (compatible; Win16; D) – робот, который обращается к страницам, добавленным с помощью формы «Добавить URL»;
Yandex/1.03.000 (compatible; Win16; M) – задействуется при переходе на страницу посредством ссылки «Найденные слова»;
YaDirectBot/1.0 (compatible; Win16; I) – этот робот отвечает за индексацию страниц ресурсов, принимающих участие в рекламной сети Яндекс.

Из всех поисковых роботов самый важный так и называется – основной поисковый робот. От того, как он проиндексирует страницы сайта, будет зависеть значимость ресурса для поисковой системы.

Работа всех роботов происходит по индивидуальному расписанию, и если сайт проиндексирован одним из них, то это не значит, что скоро будет произведена индексация и другим.

В помощь основным созданы и роботы, которые периодически посещают сайты и устанавливают, насколько те доступны. К таким можно отнести роботов «Яндекс.Каталога» и рекламной сети Яндекс.

Для поисковой системы Яндекс характерны следующие основные показатели внешней оптимизации:

тИЦ – это общедоступный тематический индекс цитирования, он не оказывает прямого влияния на ранжирование и используется для определения позиций в тематической категории Яндекс.Каталога; применяется, когда необходима раскрутка сайта, тИЦ показывает, какое количество ссылок, в среднем, обращается к сайту.
вИЦ, или взвешенный Индекс Цитирования, представляет собой алгоритм для подсчета количества внешних ссылок; значение его не разглашается и используется поисковой системой как определяющее при ранжировании сайтов в поисковой системе.
Присутствие сайта в «Яндекс.Каталоге».
Общее число страниц сайта, принявших участие в индексации.
Частота, с которой индексируется содержимое сайта.
Наличие и отсутствие ссылок с сайта, присутствие сайта в поисковых фильтрах.

Индекс цитирования создает основу для тематического и взвешенного индекса цитирования, которые влияют на ранжирование сайта.

Индекс цитирования (ИЦ) - это указатель цитирований (количества ссылок на источник) между публикациями, позволяющий узнать, какие из более поздних документов ссылаются на более ранние работы, при этом, ИЦ может рассматриваться как для отдельных статей, так и для авторов (ученных).

В поисковой системе Яндекс, а также в других поисковых системах, под индексом цитирования подразумевается количество обратных ссылок, без учета ссылок со следующих ресурсов: немодерируемых каталогов, досок объявлений, сетевых конференций, страниц серверной статистики, XSS ссылки и другие, которые могут добавляться без контроля со стороны владельца ресурса. Стоит отметить, что в каталоге Апорт под ИЦ понимается взвешенный индекс цитируемости.

Рассчитывается этот индекс из ссылочного графа: если рассматривать ресурсы сети как вершины графа, а цитирование других ресурсов (ссылочные связи между сайтами) как связи вершин графа (ребра), тогда ссылочный граф можно представить в виде диаграммы, как показано на рисунке 3.1.

Рисунок – Ссылочный граф

На рисунке буквами А, B, …, F обозначены определенные сайты в индексе поисковой системы, стрелки изображают направление связей - односторонние либо двусторонние.

ИЦ используется как один из факторов для ранжирования документов в поисковой выдаче, но не является главным.

Не стоит путать обычный индекс цитирования с взвешенным и тематическим, о которых будет написано позже. Индекс цитируемости всегда целое число и не зависит от тематик ссылающихся документов.

Индекс цитируемости обычно рассматривается в качестве параметра значимости статьи, однако он не отражает структуру ссылок в каждой дисциплине (тематике), а также слабозначимые работы и труды с большой значимостью могут иметь одинаковый индекс цитируемости.

Поэтому был введен взвешенный индекс цитирования, который определяется не только количеством, но и качеством ссылающихся источников. Введение ссылочного поиска и статической ссылочной популярности помогает поисковым системам справляться с примитивным текстовым спамом, который полностью разрушает традиционные статистические алгоритмы информационного поиска, полученные в свое время для контролируемых коллекций. ВИЦ является аналогом PageRank от Google.

Взвешенный индекс цитирования, как и другие ссылочные факторы ранжирования, рассчитывается из ссылочного графа. Узнать вИЦ для своих страниц вы можете приблизительно, проверив их PageRank любым онлайн-сервисом проверки, однако, следует учесть, что в индексе Яндекса присутствуют только русскоязычные документы, а из зарубежных лишь некоторые популярные, таким образом, урезая ссылочный граф по сравнению с Google.

Тематический индекс цитирования введен для отражения авторитетности сайта в своей тематике.

При определении тематики сайта сначала строится описание рассматриваемого ресурса (из названия категорий сайта, заголовков, структуры URL его страниц). Далее вычисляется оценка близости между описаниями заранее подготовленных тематик (каталог) и описаниями ресурсов с выбором наиболее близких тематик для них.

Тематическая близость двух документов отражает вероятность принадлежности их обоих одной и той же тематике. Этот показатель может влиять на значение передаваемого ссылкой веса.

Расчет тИЦ основан на формуле:

где PF(v,t) – тИЦ ресурса v;

P – количество ресурсов, которые ссылаются на сайт v и имеют ту же тематику;

n v – количество страниц на рассматриваемом сайте v;

N – общее число страниц в индексе Яндекса (при этом, n v /N - вероятность того, что пользователь читает сайт v);

w(i) – частота цитируемости ресурсом i сайта v;

N(i) – общее число ссылок на i-ом сайте.

При этом, PF(v,t) является нормализованной величиной.

Изначально тематический индекс цитирования отражал ситуацию в Рунете, но со временем индекс Яндекса расширился на такие географические сегменты, как Беларусь, Украина и другие. В Яндексе появились новые версии каталога для дополнительных регионов.

Соответственно, чтобы ранжировать сайты в каждом из региональных Яндекс.Каталогов, потребовалось ввести региональный тИЦ, который учитывает, помимо тематической, географическую близость ссылок.

Таким образом, тИЦ обладает следующими свойствами:

1. тИЦ зависит от количества уникальных страниц на сайте и чем их больше, тем больше результирующий показатель.

2. Чем меньше исходящих ссылок на сайте-доноре, тем больше с него передается тИЦ.

3. тИЦ никак не зависит от перелинковки.

4. Анкоры ссылок не участвуют в определении тематической близости двух ресурсов.

5. При наличии у сайта нескольких зеркал (копий), при их склейке результирующий тИЦ суммируется.