Индексация сайта поисковыми системами и ее функции

Индексация сайта — что это такое?

Вопросы о том, что такое индексация сайта и что с нею делать, традиционно лидируют в списке самых часто задаваемых вопросов. Рассказываем. Чтобы выдать сайт в списки поиска, специальные роботы обходят все ресурсы и добавляют их в базы данных. По ресурсам «гуляют» целые комплексы роботов, одни из которых считывают сайт, другие проходят по ссылкам, третьи читают html-коды. Все базы данных регулярно обновляются, например индексация сайта в Яндексе проходит примерно раз в две недели. Пожалуй, индексация — это самый важный этап раскрутки, потому что именно после нее можно получить результат.

Часто требуется проверка индексации сайта в поисковике, чтобы выяснить, все ли страницы прочитаны роботами, индексируется ли ресурс вообще и насколько глубоко роботы смогли проникнуть внутрь сайта. Если индексация страниц сайта неполная, это может означать, что есть проблемы со структурой ресурса: проставление дополнительных ссылок и прописывание карты сайта позволит роботу пройти по всем страницам. Некоторые страницы могут не индексироваться из-за некорректного URL-адреса, что тоже несложно исправить.

Иногда наблюдать за индексацией чрезвычайно интересно, особенно красиво это выглядит в поисковой системе Google. Там индексация сайта называется «Google dance» (Танец Гугла). Заходя в поисковик, пользователь через специальный маршрутизатор попадает на один из свободных серверов. При повторном заходе пользователь может попасть на другой сервер. Если в это время проходит индексация сайта и базы данных обновляются, на один и тот же запрос можно получить совершенно разные результаты. Если такое случилось с Вами, то не стоит волноваться: Гугл просто пригласил Вас на танец.