Этапы работы поисковых машин

1. Сбор информации из WWW. Программа – спайдер (паук, иногда его называют червяк) копирует на сервер системы Web-страницы, передвигаясь по гиперссылкам.

В каждой системе свой алгоритм просмотра веб-страницы: в одних просматривается только заголовок с ключевыми словами и мета-теги (раздел Head), в других для просмотра добавляется часть выводимой на экран страницы. Есть поисковики, которые при определенных условиях просматривают всю страницу. Поисковая машина работает только с текстом страницы, нетекстовая часть создается не для машин, а для людей.

2. Индексация: составление словаря – базы данных о том, где и когда в Интернете встречалось данное слово. Периодически контролируются изменения в базе, выявляются исчезнувшие ресурсы.

Здесь тоже поисковые машины ведут себя по-разному. Между временем, регистрации страницы в поисковой системе и временем, когда ее посетит поисковый робот, может пройти от нескольких минут до нескольких недель.

Можно проверить частоту обновления поисковой системы: дать запрос о каких-то произошедших в мире последних, сенсационных событиях (ранее малоизвестных именах или географических названиях). Если в поисковой системе ссылок много, то база обновляется часто. Если в другом поисковике ссылок в сто раз меньше, то эта система обновляется нерегулярно, живет в основном не для клиента, а за счет рекламы или разработчиков сайтов.

3. Обработка запроса клиента и выдача ему результата в виде ранжированного (расположенного по номерам) списка веб-страниц.

Запрос в виде одного распространенного слова в русском Интернете может дать миллионы ссылок. Конкретизация в виде нескольких слов может сократить это число до тысяч, иногда до сотен ссылок. Обычно клиент просматривает около 50 первых ссылок, а может ограничиться и первой страницей. Прочая информация до него не доходит.

Cсылки в списке располагают по релевантности. Релевантность – соответствие ответа запросу с точки зрения заданных критериев. Критериев у поисковых систем довольно много, причем особенности их использования в каждой системе могут отличаться.

В целом критерии, влияющие на положение ссылки в списке можно разделить на внутренние о внешние. Внутренние критерии можно задать при создании сайта, внешние от разработчиков сайта не зависят (по крайней мере, в идеале). Но об этом будет сказано далее, в следующих разделах.