Что такое индексация сайта?

ИНДЕКСАЦИЯ — это сбор и добавление информации о сайте в поисковую базу роботами, или пауками. Результат индексации — появление в поиске веб-документов (страниц, записей, рубрик, архивов, категорий, других данных).

Иными словами, это включение сайта в базу поисковика. Сама по себе индексация не обозначает появления на высоких позициях в выдаче по определенному запросу и не равна по значению термину «ранжирование».

Виды поисковых роботов (пауков)

Ботов можно условно разделить на две категории:

  • Быстрые индексирует только новые или обновленные документы.
  • Главные индексирует абсолютно все разрешенные файлы с конкретного сайта на одном домене.
  • Специализированные. Поисковик обладает большим количеством ботов для отдельных функций: обработка фото и видео, проверка доступности, подсчет ссылок, сбор данных о зеркалах.

Как повлиять на индексацию своего сайта

  • Ускорить работу пауков помогают аддурилки — специальные окна в сервисах для вебмастеров различных поисковых систем:
    — Яндекс.Вебмастер
    — Google Search Console
    — Кабинет вебмастера Mail.ru
    — Bing Webmaster Tools
  • Настроить файл robots.txt c верным указанием директив и тегов. Важно также убедиться, что служебные файлы закрыты от индексации.
  • Ускорить индексацию помогают соцсигналы.

Как проверить индексацию сайта

Проверить, какое количество страниц сайта проиндексировано поисковиками, можно следующими способами:

  • В инструментах Яндекс.Вебмастер, Google Search Console, кабинете вебмастера Mail.ru.
  • С помощью расширений браузера, например, RDS Bar, Page Promoter Bar.
  • Платными и бесплатными онлайн-сервисами.