Индексация страниц сайта

Индексация – это обход поисковыми роботами интернет страниц и добавление их (страниц) в свою базу для последующей обработки, систематизации и вывода в результатах поиска. Ее механизм прост. Поисковой робот находит ссылку на ваш сайт, или на отдельную страницу, в интернете. Переходит по этой ссылки и начинает загружать страницы себе в базу. Робот будет переходить по ссылкам на вашем сайте и таким образом обойдет их все. Если страница или целый сайт недоступен, робот не будет задерживаться и пойдет дальше.

Для индексации сайта, достаточно разместить ссылку на сайт компании на уже проиндексированном ресурсе. Но, стоит добавить сайт, непосредственно в аддурилки (панель добавления новых сайтов) поисковых систем – http://webmaster.yandex.ru/addurl.xml, http://www.google.ru/addurl/?continue=/addurl.

Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.

В Яндексе есть несколько видов роботов, которые выполняют разные функции. Например, есть робот, который индексирует rss-ленту для поиска по блогам. Или робот, который индексирует только картинки. Самый важный – основной индексирующий робот, функция которого – поиск и индексирование информации для формирования базы основного поиска.

В помощь основному есть быстрый робот – он предназначен для оперативного индексирования свежей, актуальной на данный момент информации. Если среди проиндексированных страниц своего сайта вы видите две копии какого-либо документа – скорее всего это означает, что помимо основного робота документ также был проиндексирован и быстрым роботом.

Время индексации сайта может варьироваться от нескольких часов, до нескольких недель и даже месяцев, тут все зависит от вас и вашего ресурса.

Для ускорения процесса индексации, нужно добавить свои ссылки в социальные закладки, которые любят ПС (поисковые системы)

Существует 5 основных причин, по которым сайт или его отдельные документы могут не заходить в индекс (или делать это с трудом):

- Робот не знает о сайте или документе

- Сайт или его часть недоступна для робота

- Сайт находится в черном списке

- Присутствует техническая ошибка

- Отдельные страницы или разделы показывают плохое качество