Причины выпадения страниц из Yandex.ru

Сегодня отвечаю на вопрос о выпадении страниц из индекса поисковой системы Яндекc от читателя по имени Александр . Он спрашивает:

Что может приводить к плавному выпаданию страниц сайта из поиска? При условии, что это не ГС, без рекламы и т.п. Т.е. по всем признакам, сайт вроде бы должен “нравиться” поисковой системе, но все наоборот.

Точный “диагноз” при выпадении страниц СДЛ-сайта из индекса можно поставить, только проанализировав “пациента” и зная его “историю болезни”. Но, как правило, к таким проблемам приводят одни и те же причины, список которых я привожу ниже.

1. Технические проблемы.
Это может быть неправильный ответ сервера, проблемы провайдера (есть широкоизвестные случаи, когда провайдеры закрывали роботам Яндекса доступ к серверам, изза чего из индекса вываливались тысячи сайтов), проблемы движка и т.д.
Что б убедиться, что причина выпадения страниц сугубо техническая, добавьте сайт в webmaster.yandex.ru (если еще не сделали этого) и изучите раздел “Ошибки”. Если у роботов Яндекса возникают какие-то проблемы при попытке зайти на сайт, информация об этом обязательно будет отображена в “Ошибках” панели вебмастера.

2. Внутренние дубли страниц.
Наличие множества страниц с одинаковым (или очень похожим) содержанием под разными адресами тоже может привести к выпадению из индекса целых разделов сайта. Как правило, разные URL одних и тех же страниц генерируются автоматически CMS сайта (идентификаторы сессий, комментарии, результаты поиска), и об их существовании вебмастер долгое время может и не догадываться.

Решение проблемы: 1) запретить дубли к индексации в robots.txt (простой); 2) ковырнуть движок так, что б дубли больше не генерировались (глобальный).

3. Страницы без контента.
Если содержательная часть большинства страниц сайта по объему существенно уступает сквозным блокам, вероятность исключения таких страниц из индекса очень велика. Что б было понятнее, привожу базовый пример: содержательная часть страницы состоит из единственной картинки (страница галлереи) или 1-2 текстовых предложений (страница глоссария), сквозная – из шапки, каталога навигации с ссылками на сотню разделов и футера.
Вероятно, с точки зрения логики поисковика, такие страницы считаются малоинформативными и бесполезными для посетителей, и поэтому выбрасываются из индекса. Кстати, среди всех сайтов, которые мне доводилось лечить от массового выпадения страниц, чаще всего встречались сайты именно с такой проблемой.

Решение проблемы – добавлять на каждую страницу побольше качественного содержания, не раздувать до беспредела навигацию и прочие сквозные блоки.

4. Исходящие ссылки.
Я отнюдь не хочу сказать, что наличие исходящих (и в том числе продажных) ссылок всегда приводит к исключению страниц из индекса. Тем не менее, давно заметила, что Яндекс часто исключает из базы отдельные директории сайта, где содержатся страницы с ссылками. Например, доводилось встречать вполне качественные сайты, которые замечательно индексировались Яндексом, за исключением отдельных директорий, где содержались продажные статьи.

5. Неуникальный контент.
Иногда из индекса исключается отдельные разделы с неуникальным контентом. Например, недавно доводилось наблюдать, как у СДЛ-сайта по поиску работы из индекса за две недели ушли страницы, содежащие текст КЗОТа, в то время как количество страниц с вакансиями и резюме в индексе продолжало расти.
Решение – если индексация таких страниц для Вас принципиально важна, но неуникальный контент невозможно заменить на уникальный (текст закона, например, не перепишешь своими словами), добавляйте на эти страницы уникальный контент отдельно (например, в виде своих комментариев).

6. Глюк поисковой системы
Такое маловероятно, но вполне возможно. Например, вначале августа после очередного апдейта многие сайты, в том числе СДЛ, потеряли много страниц, но через несколько дней все вернулось обратно.

7. Низкое качество сайта в целом.
Очень часто представление вебмастера о качестве своего сайта не совпадает с представлением Яндекса. Наличие уникального контента и отсутствие рекламы отнюдь не гарантирует, что сайт “понравится” поисковой системе. Поэтому вполне возможно, что в то время, как Вы искренне считаете свой сайт белым и пушистым, робот может зачислить его в кандидаты к расстрелу из печально известного пулемета АГС.

Вообще, иногда к ошибкам индексации сайта приводит невнимательность самого вебмастера. Вспоминается прошлогодний случай из личного опыта, когда во время моего отпуска заграницей мне позвонил клиент и попросил срочно разобраться, почему его сайт полностью выпал из индекса. Как потом оказалось, при переносе на новый движок сайт просто забыли открыть к индексации, и в robots.txt красовалсь строка Disallow: /.

Кстати, следить за количеством страниц в индексе удобно через webmaster.yandex.ru. Если вдруг заметите, что разрыв между показателями “Загружено роботом” и “Страниц в поиске” резко увеличился – ищите проблему, она есть.

С ув., Оптимизаторша.