Осторожно, рефспам. Пессимизация за накрутку ПФ, которой не было


Яндекс давно борется с накруткой ПФ. Сначала сайты, которые “баловались” имитацией переходов из результатов поиска, понижались в выдаче вручную.

Сейчас антифрод-фильтр автоматизирован и борется не только с накруткой ПФ из результатов выдачи, но и с так называемым “усилением ссылочного” – кликами по купленным ссылкам с целью усилить передачу ссылочного веса.

Очередная волна пессимизации за накрутку ПФ прошла 1 декабря, и множество сайтов, экспериментировавших с “усилением”, потеряли трафик из Яндекса.

Но как и любой автоматический алгоритм, антифрод-фильтр далеко не идеален и имеет свой процент погрешности. Это значит, что даже если вы не накручивали поведенческие, ваш сайт может быть понижен антифродом ошибочно. Например, за рефспам.

Что такое рефспам

Рефспам – это автоматическое обращение к сайту с подстановкой нужного рефферера. Таким образом, в записи в лог-файлах сервера появляется запись о посетителе, которого на сайте никогда не было. А в данных Я.Метрики или GA появляются просмотры страниц из доменов, не имеющих отношения к сайту, или заходы с “левых” сайтов со 100% отказами.

Делается это с целью бесплатной рекламы. Если в вашей статистике вдруг появится новый источник регулярных переходов, то рано или поздно вы зайдете на этот сайт, чтобы посмотреть, что он из себя представляет и найти там ссылку на себя. Естественно, никакой ссылки вы там не найдете.

Такие “псевдопосетиели” могут сильно искажать данные о поведенческих характеристиках сайтах и привлекать внимание антифрод-фильтра.

Официальная позиция Яндекса

Мы и другие вебмастера неоднократно писали в техподдержку Яндекса об этой проблеме. Тема рефспама неоднократно поднималась на Серче (раз, два, три).

“Индивидуальный” ответ Платона на наш запрос:

“Если Ваш сайт развивается в интересах пользователей, не используя каких-либо техник, направленных на обман поисковых систем, то Вам не о чем волноваться, так как при разработке наших алгоритмов мы, конечно же, учитывали возможность злоумышленников повлиять на позиции того или иного сайта и минимизировали ее.”

Иными словами, согласно позиции Яндекса, накрутка ПФ может стать катализатором санкций, но не может быть их единственной причиной. Если с внутренней оптимизацией вашего сайта все в порядке и других поводов для наложение санкций нет, то накрутки ПФ можно не бояться. Те не менее я неоднократно убеждалась, что практически у любого сайта можно найти признаки внутреннего спама, было бы желание. Так что привлекать внимание антифрод-алгоритма все-таки не хотелось бы.

Также где-то встречала упоминание, что Яндекс якобы работает над тем, чтобы не учитывать такие переходы в статистике. Но в ответах на наши запросы это, увы, не упоминалось.

UPD: Вчера получили новый ответ:

“Наши специалисты уже занимаются решением данного вопроса. В сложившейся ситуации мы можем Вам посоветовать настроить фильтры. Настройки фильтра необходимо задать следующим образом : “Оставить только трафик” “URL страницы” “сайт и зеркала”. После настройки данного фильтра подобные переходы более не будут попадать в статистику Вашего счетчика.”

Официальная позиция Яндекса по поводу рефспама изложена здесь.

Диагностика рефспама

Левые домены в статистике

Зайдите в Я.Метрику, выберите период не менее месяца, посмотрите статистику по популярным страницам – там должны быть только страницы вашего домена, на котором установлен счетчик (или нескольких доменов, если вы используете для них один счетчик). Если же там есть левые страницы, которые не имеют никакого отношения к вашим сайтам, это рефспам:

popular-pages
Такие же страницы иногда можно случайно заметить и при просмотре данных Вебвизора:

vebvisor

Переходы с левых сайтов

Посмотрите в Я.Метрике статистику по переходам с сайтов за период один месяц или более. Обратите особое внимание на источники, процент отказов с которых значительно превышает ваш среднестатистический показатель – это может быть рефспам:

suorce-pages
Вот далеко неполный список сайтов, определенно рассылающих рефспам:
iskalko.ru
ilovevitaly.com + поддомены
ilovevitaly.ru + поддомены
o-o-8-o-o.ru
o-o-6-o-o.ru
buttons-for-website.com
semalt.semalt.com
cenoval.ru
priceg.com
cenokos.ru

Почти у половины наших пациентов среди источников переходов был обнаружен хотя бы один из этих сайтов.

Как бороться с рефспамом

Фильтры в Я.Метрике

1. Настройка фильтра по домену
Настроить фильтры можно на странице редактирования счетчика. Подробнее о том, как это сделать, описано здесь:

filtr
Увы, метод исключает только подмешивание чужой статистики в счетчик (популярные страницы и вебвизор), но не сайты-источники.

2. Жесткая фильтрация ботов

На той же странице можно включить жесткую фильтрацию ботов (по умолчанию стоит средняя):

filtr-bot
Этот способ тоже имеет погрешность, так как не все рефспамеры идентифицируются Яндексом как боты. Нам, например, этот способ не очень помог.

2. Отсечение ботов с помощью .htaccess

Исключение доступа по реффереру:
RewriteEngine on
RewriteCond %{HTTP_REFERER} cenoval\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} cenokos\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.ru
RewriteRule ^.*$ – [F]

Запрет доступа по IP:
Order allow,deny
Allow from all
Deny from 78.110.60.230
Deny from 217.23.

К сожалению, не существует универсального метода, который бы защитил сайт от всех рефспамеров сразу. Если сегодня вы избавитесь от одного спамера, завтра вместо него может появиться еще два новых. Поэтому советую регулярно проверять статистику и обновлять свой черный список.

Если ваш сайт уже пессимизирован за накрутку ПФ (то есть в ответе Платона упоминается эмуляция действий пользователей поисковой системы), и вы обнаружили в статистике рефспам, обязательно напишите об этом в Яндекс. Вероятность снятия санкций в таком случае не велика, но все таки есть.

UPD 11.12.2014: За длинный список рефспам-доменов, который приводится ниже, большое спасибо Alchemis. Уже по одному названию этих сайтов видно, что их делали “реальные пацаны”:

 

advokateg.ruru
begalka.ru
besedko.ru
bezlimitko.ru
bileteg.ru
biteg.ru
bloknoteg.ru
bnzn.ru
boltalko.ru
brasleteg.ru
brateg.ru
brkr.ru
budilneg.ru
buketeg.ru
bukleteg.ru
cenokos.ru
cenokosilka.ru
cenoval.ru
chistilko.ru
cosmetiko.ru
creditko.ru
darilko.ru
darodar.ru
davalko.ru
deffko.ru
defko.ru
detko.ru
devko.ru
dktr.ru
dostavalka.ru
dostavko.ru
dpzt.ru
dvkt.ru
erotiko.ru
fantastiko.ru
flashko.ru
flsh.ru
ftns.ru
gadalko.ru
gantelko.ru
gazeg.ru
govorilko.ru
grelko.ru
holodilko.ru
igralko.ru
ingenegr.ru
inomarko.ru
instrumenteg.ru
interneteg.ru
iskalkin.ru
iskalkof.ru
iskalkoff.ru
iskalkov.ru
kabineteg.ru
kachalko.ru
kafeshko.ru
kalendareg.ru
karamelko.ru
kartochko.ru
katalko.ru
kirpicheg.ru
kisko.ru
klaviaturko.ru
kliniko.ru
klnk.ru
knft.ru
knopko.ru
koncerteg.ru
kontakteg.ru
korableg.ru
korzinko.ru
kosmetiko.ru
kptl.ru
krasilko.ru
krasotko.ru
krediteg.ru
kreditmobil.ru
kreditomobil.ru
kreditovalka.ru
kroshko.ru
krrt.ru
krtn.ru
kruizeg.ru
kukolko.ru
kuloncheg.ru
kurorteg.ru
kvrtr.ru
letalka.ru
letalko.ru
lodko.ru
masterilka.ru
masterilko.ru
mblk.ru
mbln.ru
migalko.ru
moncher.ru
monetko.ru
morozilko.ru
nabiralko.ru
naxyu.ru
nitko.ru
nmrk.ru
novinko.ru
o–o–0–o–o.ru
o-o-0-o-o.ru
o-o-1-o-o.ru
o-o-o-o-o.ru
obedeg.ru
obmenko.ru
obuchalko.ru
obuvko.ru
odevalko.ru
ohotneg.ru
ohoto.ru
olimpiko.ru
optiko.ru
oxoto.ru
paketeg.ru
parkovalka.ru
parkovko.ru
perevodeg.ru
pisalko.ru
pistoleteg.ru
pkvk.ru
plakateg.ru
plasteg.ru
plkt.ru
podsvetko.ru
pomogalko.ru
posylko.ru
pozdravlyalko.ru
priceg.ru
pristavko.ru
probko.ru
prodavalko.ru
programko.ru
prosilka.ru
prosilko.ru
prospekteg.ru
putevko.ru
rabotalka.ru
rabotko.ru
reklamko.ru
remonteg.ru
risovalko.ru
rprt.ru
rsrt.ru
sambrero.ru
samoleteg.ru
sberauto.ru
sberavto.ru
sberbanka.ru
sbercapital.ru
sberdengi.ru
sberdom.ru
sberipoteka.ru
sberkapital.ru
sberkredit.ru
sberstrah.ru
sberstrakh.ru
sbervklad.ru
sdelko.ru
servacheg.ru
shibko.ru
shkatulko.ru
shkolneg.ru
shokoladko.ru
shubko.ru
signalko.ru
skalko.ru
smotrelko.ru
snimalka.ru
snimalko.ru
sobiralko.ru
softinko.ru
sportsmenko.ru
spravko.ru
ssylko.ru
stiralko.ru
strahovalka.ru
strahovko.ru
studenteg.ru
sumko.ru
svalko.ru
sverlilko.ru
svetilko.ru
svetilneg.ru
tabletko.ru
torteg.ru
trenirovko.ru
trlk.ru
trubko.ru
tufelko.ru
turisteg.ru
ubiralka.ru
uborko.ru
uchastneg.ru
udivlyalka.ru
udivlyalko.ru
upakovko.ru
vdpd.ru
veselilka.ru
vitaleg.ru
vkld.ru
vkzl.ru
vodkaved.ru
vodkoved.ru
vystavko.ru
yarmarko.ru
zakazeg.ru
zametko.ru
zapisko.ru
zapravko.ru
zavodeg.ru
zerkalko.ru

 

Просмотров: 11,433


  • http://max1net.com/ Max1mus

    А если в статистике отображаются переходы с моего сайта на такие вот левые сайты, а на моих страницах, разумеется, нет ссылок на эти сайты? То есть переходы не НА меня, а ОТ меня

  • http://whiteprofit.ru/ Белый Манимейкер

    У меня были также замечены эти сайты в источниках на многих ресурсах. Конкуренты не дремлют…;)

  • http://seoonly.ru/ seoonly.ru

    еще клаудмаус знатно спамят

  • Marian Popovych

    Спасибо за пост, Елена.
    Давно про это слышал.
    А как это технически реализовывается? Донора “ламают” и вешают на сайт скрипт, который реффереры подменяет?

  • http://optimizatorsha.ru/ Kamskaya
  • Максим Филин

    спасибо, как раз наткнулся в метрике на эти странные вещи…

  • Максим Филин

    спасибо, как раз наткнулся в метрике на эти странные вещи…

  • http://esoptimizer.com/ ES Optimizer

    Вот еще немного информации про это – http://wlad2.ru/prb . Просто пользователи сами себя заражают и портят статистику, ну и пессимизируют)))

  • Vasily Kvasny

    У меня на многих сайтах вот такой урл в статистике по популярным страницам : “hghltd.yandex.net/yandbtm?”

    Это тоже спам?

  • Андрей88

    Исключение доступа по реффереру

    А как запретить для домена и всех его поддоменов?
    P.S. могу выложить огромную базу этих гадов…

  • http://optimizatorsha.ru/ Kamskaya

    Нет, это кеш страниц в Яндексе

  • http://optimizatorsha.ru/ Kamskaya

    Технически можно реализовать по-разному. На блоге об этом не буду писать, дабы злоумышленники не стали использовать это в качестве инструкции. Если сильно интересно, по одной из ссылок из этого поста на серч как раз идет обсуждение этого вопроса.

  • http://money4honey.ru/ MoneyHoney

    использую cloudflare – они показывают капчу всем грязным ip

  • http://money4honey.ru/ MoneyHoney

    яндекс – наш кормилец и друг, наш бог трафика, не нужно его обижать

  • Marian Popovych

    Спасибо. Уже прочитал :)

  • Marian Popovych

    Так и есть. Счётчик берут и вешают себе на сайт. Потом Вы заходите посмотреть на ресурс – и вот у них трафик :)

  • Елена

    Спасибо, Елен. Так актуально в последнее время. Может рефспаму и 10 лет, но санкции то накладывает Яндекс сейчас(

  • Александр Герасимов

    Мне кажется, что у всех сайтов с посещаемостью больше минимума, есть в источниках один из этих сайтов. Сомнение вызывает, что реально это же капля в море траффика нормального сайта – неужели это может вызвать наложение санкций, Яндекс как минимум же отбрасывает 5 или больше процентов сверху и снизу для оценки ПФ?

  • Pingback: Яндекс принимает за накрутку рефспам? | Блог Дмитрия Моль()

  • Мария Светаева

    У меня есть ссылка одноклассников, ведущая на тематичную сайту группу – это реффспам? И не только на группу – на какую то несуществующую, главную и вообще длинную непонятную, никуда толком не ведущую.

  • Терминатор Рембо

    Так-так, зашел на сайт http://semalt.com/ вполне себе сервис статистики сайтов, не мудрено, что “Почти у половины наших пациентов среди источников переходов был обнаружен хотя бы один из этих сайтов”….
    Или я чего-то путаю? )

  • Терминатор Рембо

    Прошу прощения, почему вы удалили мой комментарий? Я привел пример одно из перечисленных вами сайтов, просто проверив его, это криминал? Что за нелепая цензура, прошу прощения

  • http://optimizatorsha.ru/ Kamskaya

    Скорее всего я просто не успела отмодерировать Ваш комментарий. Удаляю я только открыто хамские посты или неаргументированную критику на повышенных тонах.

  • http://optimizatorsha.ru/ Kamskaya

    О нем вот тут подробно написано – http://www.securitylab.ru/news/457436.php

  • http://optimizatorsha.ru/ Kamskaya

    Вполне возможно, что нет – может быть, группу просто удалили. Но если эта ссылка будет появляться в статистике и дальше, лучше ее зафильтровать.

  • http://optimizatorsha.ru/ Kamskaya

    Проблема в том, что многие из этих сайтов (а также другие им подобные) есть в статистике не только у посещаемых сайтов, но и у новых слабопосещаемых. Представьте что у нового сайта 50-70% трафика приходится на рефспам, который дает 99% отказов.

  • Рина

    Елена, в правилах, запрещающих доступ по IP, у вас прописано:
    Deny from 217.23.
    Адрес заканчивается точкой. Это правильно?

  • http://optimizatorsha.ru/ Kamskaya

    Да. Это запрет на доступ к сайту всей подсети, с которой стучатся реферреры

  • Рина

    Спасибо!

  • http://ulengoff.name/ Юрий

    Тоже такая проблема на сайте. Самое нехорошее – что сайт совсем молодой, и трафика пока мало. Получается, засунуть в htaccess всю эту портянку доменов – единственный метод борьбы? Подскажите, пожалуйста.

  • Pingback: Блокируем уродов. |  АнтиSEOБлог()

  • Афиша ПМР

    Доброго дня

    1. Настройка фильтра по домену в ЯМ

    Так если это сделать то сайты просто не будут показываться в ЯндексМетрике или это запрет на заход на сайт?

    Я предполагаю, что просто не будут в отчетах отображаться.

    Но смысл тогда в таких фильтрах? Они ведь (переходы) на сайт будут, просто ты их видеть не будешь.

    2. Отсечение ботов с помощью .htaccess

    А как это правильно сделать?

  • http://optimizatorsha.ru/ Kamskaya

    1. Сайты не буду показываться в Я.Метрике и не будут участвовать в оценке ПФ для Вашего ресурса.

    2. Лучше обратиться к администратору или программисту, чтобы помог.

  • Pingback: Отвечаю на вопросы по поисковым санкциям и нюансам продвижения в Яндексе и Google | Optimizatorsha.Ru()

  • http://lisakov.com Сергей Лисаков

    Интересно, а Вы заметили, что тема на Сёрче по ссылке «раз» из этой записи начата владельцем этих замечтальных адресов, приведённых в конце? Codobir, начавший эту тему, и есть тот самый Виталий Попов, больше известный как ilovevitaly.

    Кстати, его сайты бесполезно блокировать на уровне веб-сервера, не поможет. Посмотрите те дни, когда они наблюдались в статистике, в access.log (там перечислены все посещения). Ни его IP, ни его адресов. Единственное, что я нашёл у себя в логах — semalt и buttons-for-website. А в статистике мусора всякого полно.

  • http://serg-smirnoff.com/ serg-smirnoff

    Лучше не доменов, а IP его VPS серверов и не в .htaccess, а блок через iptables (то есть на уровне файервола) если представляется такая возможность. Так надежнее.

  • http://vejevatova.ru Lily Vejevatova

    Здравствуйте! Может есть специалисты которые могут это объяснить? Резко выросло количество ботов в статистике посещений сайта. Переходы типа из поисковиков, одни боты. На сайте время не проводят, иногда делают 1 переход, айпишники – различные регионы России. Не пишется никакой инфы в вебвизор, продолжительность посещения – 0 секунд.

  • Serhiy Lonco

    Более того, у меня появилось стойкое подозрение, что рефспамеры и яндекс- две стороны одной монетки…

  • Alex

    У гугла такая же прблема с рефспамом в Analytics имеется.