Причины выпадения страниц из Yandex.ru



Сегодня отвечаю на вопрос о выпадении страниц из индекса поисковой системы Яндекc от читателя по имени Александр . Он спрашивает:

Что может приводить к плавному выпаданию страниц сайта из поиска? При условии, что это не ГС, без рекламы и т.п. Т.е. по всем признакам, сайт вроде бы должен “нравиться” поисковой системе, но все наоборот.

Точный “диагноз” при выпадении страниц СДЛ-сайта из индекса можно поставить, только проанализировав “пациента” и зная его “историю болезни”. Но, как правило, к таким проблемам приводят одни и те же причины, список которых я привожу ниже.

1. Технические проблемы.
Это может быть неправильный ответ сервера, проблемы провайдера (есть широкоизвестные случаи, когда провайдеры закрывали роботам Яндекса доступ к серверам, изза чего из индекса вываливались тысячи сайтов), проблемы движка и т.д.
Что б убедиться, что причина выпадения страниц сугубо техническая, добавьте сайт в webmaster.yandex.ru (если еще не сделали этого) и изучите раздел “Ошибки”. Если у роботов Яндекса возникают какие-то проблемы при попытке зайти на сайт, информация об этом обязательно будет отображена в “Ошибках” панели вебмастера.

2. Внутренние дубли страниц.
Наличие множества страниц с одинаковым (или очень похожим) содержанием под разными адресами тоже может привести к выпадению из индекса целых разделов сайта. Как правило, разные URL одних и тех же страниц генерируются автоматически CMS сайта (идентификаторы сессий, комментарии, результаты поиска), и об их существовании вебмастер долгое время может и не догадываться.

Решение проблемы: 1) запретить дубли к индексации в robots.txt (простой); 2) ковырнуть движок так, что б дубли больше не генерировались (глобальный).

3. Страницы без контента.
Если содержательная часть большинства страниц сайта по объему существенно уступает сквозным блокам, вероятность исключения таких страниц из индекса очень велика. Что б было понятнее, привожу базовый пример: содержательная часть страницы состоит из единственной картинки (страница галлереи) или 1-2 текстовых предложений (страница глоссария), сквозная – из шапки, каталога навигации с ссылками на сотню разделов и футера.
Вероятно, с точки зрения логики поисковика, такие страницы считаются малоинформативными и бесполезными для посетителей, и поэтому выбрасываются из индекса. Кстати, среди всех сайтов, которые мне доводилось лечить от массового выпадения страниц, чаще всего встречались сайты именно с такой проблемой.

Решение проблемы – добавлять на каждую страницу побольше качественного содержания, не раздувать до беспредела навигацию и прочие сквозные блоки.

4. Исходящие ссылки.
Я отнюдь не хочу сказать, что наличие исходящих (и в том числе продажных) ссылок всегда приводит к исключению страниц из индекса. Тем не менее, давно заметила, что Яндекс часто исключает из базы отдельные директории сайта, где содержатся страницы с ссылками. Например, доводилось встречать вполне качественные сайты, которые замечательно индексировались Яндексом, за исключением отдельных директорий, где содержались продажные статьи.

5. Неуникальный контент.
Иногда из индекса исключается отдельные разделы с неуникальным контентом. Например, недавно доводилось наблюдать, как у СДЛ-сайта по поиску работы из индекса за две недели ушли страницы, содежащие текст КЗОТа, в то время как количество страниц с вакансиями и резюме в индексе продолжало расти.
Решение – если индексация таких страниц для Вас принципиально важна, но неуникальный контент невозможно заменить на уникальный (текст закона, например, не перепишешь своими словами), добавляйте на эти страницы уникальный контент отдельно (например, в виде своих комментариев).

6. Глюк поисковой системы
Такое маловероятно, но вполне возможно. Например, вначале августа после очередного апдейта многие сайты, в том числе СДЛ, потеряли много страниц, но через несколько дней все вернулось обратно.

7. Низкое качество сайта в целом.
Очень часто представление вебмастера о качестве своего сайта не совпадает с представлением Яндекса. Наличие уникального контента и отсутствие рекламы отнюдь не гарантирует, что сайт “понравится” поисковой системе. Поэтому вполне возможно, что в то время, как Вы искренне считаете свой сайт белым и пушистым, робот может зачислить его в кандидаты к расстрелу из печально известного пулемета АГС.

Вообще, иногда к ошибкам индексации сайта приводит невнимательность самого вебмастера. Вспоминается прошлогодний случай из личного опыта, когда во время моего отпуска заграницей мне позвонил клиент и попросил срочно разобраться, почему его сайт полностью выпал из индекса. Как потом оказалось, при переносе на новый движок сайт просто забыли открыть к индексации, и в robots.txt красовалсь строка Disallow: /.

Кстати, следить за количеством страниц в индексе удобно через webmaster.yandex.ru. Если вдруг заметите, что разрыв между показателями “Загружено роботом” и “Страниц в поиске” резко увеличился – ищите проблему, она есть.

С ув., Оптимизаторша.

Просмотров: 15,151


  • http://twitter.com/altblog Алтайский блогер

    Был случай, когда мой блог altblog.ru полностью исключили из индекса из-за плохой ссылки над поддомене.

  • http://twitter.com/TiamatInc Trishkin Stepan

    “Внутренние дубли страниц.”
    Странная причина, ведь создатели ПС прекрасно осведомлены, о том, что CMS как правило создают дубли. Какой смысл выкидывать весь сайт из индекса если дубли в пределах ОДНОГО ДОМЕНА. Выкинуть дубли и все.

  • http://optimizatorsha.ru/ Kamskaya

    Странная, и тем не менее, такое встречается .

  • http://www.kinomelochi.com/ volos_86

    По первой проблеме, советую в robots.txt прописать команды, чтобы робот индексировал Ваш сайт, поздно ночью или рано утром. В это время нагрузка на сервера минимальна, сайты будут загружаться в индекс быстро и вероятность бана IP робота минимальна.
    Убиваем сразу двух зайцев – быстрый отклик сервера – + в продвижении; лишний раз не тревожим хостеров.

  • http://seo-sapiens.ru/ karmanoff

    Не зря на первом месте – технические проблемы. Если “не ГС, без рекламы и т.п.” начинать нужно с них.

    У меня была подобная проблема после установки плагина кеширования и отложенной отправки RSS. Какой-то из плагинов начал конфликтовать с остальными и страницы отдавали 403 ошибку. В итоге за 3 апа вылетело около 300 страниц.

  • http://twitter.com/PavelKulabukhov Pavel Kulabukhov

    У меня разрыв между показателями “Загружено роботом” и “Страниц в поиске” равен 162. Но если у меня robots.txt состоит только User-agent: * Disallow: (а блог на wordpress) то всякие /wp-admin /wp-includes /wp-content/plugins будут индексироваться… они и составляют львиную долю “Загружено роботом” но в сам поиск то они не попадают…

    Это я к тому, что если есть разрыв, то это не всегда проблема….

    Или я неправ?

  • http://optimizatorsha.ru/ Kamskaya

    Показатель разрыва коррелирует с общим количеством страниц сайта. К примеру, если у вас несколько тысяч страниц, то на разрыв в 162 страницы вообще можно не обращать внимания, если же всего 200 страниц, то разрыв в 162 страницы должен заставить Вас задуматься.

  • Awtor

    Так запрети в роботсе ему лезть туда куда не надо

  • Awtor

    Похоже это только Яндекса и касается

  • Awtor

    Тяжело в этом плане с Яндексом. Так и норовит даже свои инструкции игнорировать. Запретил на одном блоге тащить страницы архивов по годам page из навигатора, проверил в вебмастере все сходится, итогом год уж а все тащит и тащит.

    Сейчас проверял в вебмастере еще на одном блоге роботс, так вообще прослезился – Яндекс при проверке вообще пробросил все записи касающиеся его, не посмотрел даже на свой User-agent: Yandex

  • Alexander

    Благодарю! В моем случае оказался п. 6.
    Т.е. я получил ответ именно от Яндекс, что был “глюк”. Сейчас с индкесированием дела идут весьма неплохо. После того, как немного “связал” сайт, стали еще лучше.
    Спасибо за пост!

  • Alexander

    К слову сказать, было подозрение на п. 5…
    Не буду писать, что за CMS, чтоб рекламы не вышло, но эта CMS, вернее ее разработчики, видимо выпили пивка с Ашмановым и партнерами и получили от них некий сертификат (внеся какие то изменения в движек), гласящий о том, что CMS весьма крута в плане внутреннего SEO.
    Катастрофа с выпадением страниц худо-бедно коррелировала с установкой последнего обновления CMS, с которым приехали эти SEO-изменения. В интерфейсе вебмастера на яндексе было видно, что тонна страниц выпала по причине мета-тэга “noindex” в теле страницы. Тэг действительно был и это здорово дезориентировало. Я стал ехать на поддержку CMS, которая отвечала,- “Это ж хорошо! Убираются дубли!”. А мне казалось, что убирается все, т.к. количество страниц исключенных по этой причине, чуть ли не совпадало с количеством страниц сайта. Кстати, мне так и не ответили, откуда вообще эти ссылки появились. Никаких дополнительных “представлений” я не создавал.
    Но вот засада с тем, что проблема была в яндексе, а не у меня… оказалась самой подлой. Клон-Платон отказывался эскалировать проблему выше и стойко держал первую линию обороны. Я совершенно случайно пробился на уровень, где вопросы все таки решаются. Собственно, не я пробился, а случайно увидели люди, которые видимо способны решить вопрос по статье в моем блоге. :)

  • http://www.seofart.ru/ Seofart

    Сайт обычно из за этого не выкидывают. Из индекса может пропасть страница у которой может быть дубль. А могут быть в индексе 2 дубля. Ни в том, ни в другом случае это не приведет к хорошему!

  • http://zelenii.pp.ua Zelenii

    Да, но ведь создатели СМS тоже должны учитывать особенности ПС, а не клепать движки как придется.

  • http://twitter.com/bethrezen Bethrezen

    Последнее время участились случаи, когда на сайт накладывают ссылочный фильтр. Сначала перестают работать ссылки, а потом Яндекс начинает выбрасывать страницы.
    Также страницу могут выкинуть за чрезмерное логическое форматирование.

  • http://seoatom.ru/ SEOATOM

    Соблюдаю все праила яндекса а разрыв между “Загружено роботом” и “Страниц в поиске” – 1 страница загружена роботом, а в поиске ….. стыдно сказать.

  • http://7age.ru E-lovtzova2010

    У меня на одном из моих блогов яша выкинул практически все страницы из поиска, из почти 300 осталось 10, со мной таких казусов ещё не было, и не знаю ни причину не что делать. Платону писала, но пока не ответа не привета.

  • http://optimizatorsha.ru/ Kamskaya

    АГС?

  • http://spim.at.ua/ Sikart

    Вот блин,у меня такая штука началась

  • Niagr

    а если разница между загружено и в индексе очень большая, притом столько страниц, сколько загруженно на сайте просто нет? Как и нет половины разделов.

  • http://optimizatorsha.ru/ Kamskaya

    Что именно имеете в виду – страниц и разделов уже нет (удалили, переместили, перенесли), или их в таком количестве никогда и не было? В первом случае поможет 301 редирект, во втором – нужно разбираться с CMS.

  • Evgeny33

    Подскажите пожалуйста. сайт CLK полностью выпал из индекса, причем в не апа. В аддуриловку добавляется.

  • Olimpic1111

    скажите а может повлиять на позиции сайта или на выподания не которых страниц и з яндекса или других поисковиков тот факт что на сайте присутствует разная тематика по сути.. например антивирусные программы и еще есть порно фильмы.. и по обоим запросам я пытаюсь продвинуть сайт… как нибудь может такая противоположность повлиять в худшую сторону или нет

  • http://optimizatorsha.ru/ Kamskaya

    Считаю, что может.

  • http://dayfish.ru/ Zael55

    интересно, а могут выкинуьт и оригинал и дубль, 

  • Cookies

    Все страницы сайта, сегодня резко выпали из индекса, после захода: Yandex bot (mozilla/5.0 (compatible; yandexwebmaster/2.0; +http://yandex.com/bots)). На сайте уникально все, включая фото и видео контент. Дублей нет, стоит редирект, в чем причина не знаю. Сайт: http://cookies.kiev.ua 

  • http://twitter.com/EstaVenta EstaVenta.ru

    проиндексировано 160 в поиске 57,

  • Вадим Киреев

    Здравствуйте! Помогите мне, пожалуйста. Скажите это АГС если после апдейта (14.08.2013) у моего сайта выпала половина страниц из индекса (20 штук). На сегодня разница между загружено и в индексе “правильная”. Загружено 45, в индексе 26 страниц, исключено 19 (я сам их исключил в роботс.тхт). 26+19=45. Я немного запутался, куда яндекс дел те 20 статей, они числятся у него не загруженными? Ведь должно быть в таком случаи не 19, а 39 исключенных страниц. Будут еще выпадать?

    Благодарю заранее!

  • http://optimizatorsha.ru/ Kamskaya

    Не могу поставить диагноз без осмотра пациента =) Симптомы действительно указывают на АГС, но чтобы окончательно разобраться в ситуации, лучше написать в техподдержку Яндекса.

  • семен

    общие слова, ничего конкретного, мой сайт выпал из индекса вдруг, что делать-не понятно

  • http://blogocar.net/ bespredell

    Елена, здравствуйте!
    Скажите, чем это может быть: на днях после апдейта поисковой базы (25/04/15) выпало из индекса Яндекса примерно 20-25% страниц (было ~1200, осталось ~900). При этом выпали до этого самые посещаемые страницы, которые генерировали примерно 60-70% всего трафика на сайт. Сайту 3 года. Продажных ссылок нет и не было никогда. Ссылок всего было куплено около 30 шт, последняя около года назад или больше. Сайт информационный, 80% трафика – поисковый. Перед апом около недели в сайдбаре в качестве эксперимента крутилась закрытая в nofollow и noindex сквозная ссылка (партнерка по продаже мужского портомоне), которая была убрана еще до апдейта. Это фильтр, АГС, санкции…?