Индексированием занимаются роботы поисковых систем. Они анализируют содержание страниц сайта и добавляют информацию в базу данных. После индексации страницы появляются в результатах поиска и становятся доступны пользователям.
Чтобы узнать, индексировался ли Ваш сайт, введите в поисковой строке Яндекса или Google следующую запись: site:имя_ Вашего_сайта. Например site:tavry.ru Если поиск не дал результатов, значит сайт индексацию в данной поисковой системе еще не прошел. Однако в базе данных другого поисковика сайт может присутствовать.
Чтобы проверить проиндексирована ли конкретная страница, можно скопировать небольшой кусочек текста, заключить его в кавычки и вставить в поисковую строку. Кавычки обеспечат поиск по точному соответствию. Не стоит брать первые предложения статьи, если они используются в качестве анонса на других страницах сайта. Поиск может выдать в результатах страницу с анонсом, а не саму статью.
Почему не индексируется сайт или отдельные статьи — на этот вопрос не так просто ответить, так как причин для это достаточно много.
Для молодого ресурса причины могут быть такие:
1. Прошло слишком мало времени с момента создания сайта или размещения статьи. Чтобы новый сайт попал в поле зрения поисковых систем требуется время. Google, например обычно тратит всего пару дней и даже меньше чтобы найти и проиндексировать только что созданный ресурс. Яндексу может понадобиться несколько недель.
2. Ошибки в файле Robots.txt, которые запрещают поисковым роботам индексировать нужные Вам разделы.
3. Если сайт на WordPress, зайдите в панель управления «Настройки» — «Чтение» и проверьте не стоит ли галочка в разделе «Видимость для поисковых систем».
4. Проблемы, связанные с хостинг-провайдером: медленная загрузка страниц, ошибки сервера.
5. Домен с «плохой» историей, на который накладывались фильтры поисковых систем.
Чтобы проверить, связано ли отсутствие индексации с файлом Robots.txt или сервером, зайдите на webmaster.yandex.ru. Добавьте свой сайт, подтвердите на него права и воспользуйтесь инструментами «Проверить ответ сервера» и «Анализ robots.txt».
Была ли у домена история, можно проверить на сайте whoishistory.ru. Однако здесь Вы не найдете информации о санкциях поисковых систем.
Если страницы сайта индексировались, а затем вдруг исчезли из поиска, это похоже на фильтр поисковой системы. Он накладывается за нарушение «правил»: спам, раскрутка сайта запрещенными методами, наличие вредоносного кода и т.д.