Google объемы использования спам-ссылок увеличиваются


Содержание материала:

Что такое реферальный спам в Google Analytics

Автор: Сергей Никонов

Наверняка, при просмотре Google Analytics, вы замечали неестественную активность пользователей, слишком большой трафик в часы, когда ваш сайт обычно посещает несколько человек. Или когда вы видите, что переход на ваш сайт осуществляется со странных сайтов, например super-chat-privet или ilovevitaly. Знайте — это реферальный спам. И в этой статье мы поговорим о том, как можно отфильтровать негативный трафик в гугл аналитике.

Видео к статье Что такое реферальный спам в Google Analytics

В этом видео я расскажу про реферальный спам в гугл аналитике и как от него избавиться.

Что такое реферальный спам

Реферальный спам — это негативный трафик от роботов.

Из-за него вы не можете видеть реальную статистику посещений вашего сайта и важные параметры, например показатель отказов, так как данный негативный трафик смешивается с естественным трафиком.

Если реферальный спам идет напрямую на ваш сайт, он может испортить не только показатели статистики, но и снизить позиции в поисковой выдаче, так как поисковые системы могут интерпретировать это как накрутка трафика.

Как избавиться от реферального спама в Google Analytics

Шаг первый

Войдите в гугл аналитику и перейдите во вкладку Источники трафика — Весь трафик — Рефералы

Шаг второй

Скопируйте название источника реферального спама и перейдите в АДМИНИСТРАТОР — Фильтры, затем нажмите на кнопку ДОБАВИТЬ ФИЛЬТР

Шаг третий

В название фильтра впишите скопированное имя хоста, тип фильтра выберите Пользовательский, Поле фильтра Источник кампании.

В качестве шаблона фильтра можно указать также имя хоста. После этого нажмите на кнопку Проверить этот фильтр и если нет ошибок, нажмите на кнопку Сохранить.

Таким образом аналитика больше не будет учитывать трафик данного хоста в общей статистике

Где взять список источников реферального спама

За время использования гугл аналитики, я сформировал свой список реферального спама и вы можете скачать данный список по ссылке

Для того, чтобы совсем запретить доступ реферального спама на ваш сайт, вы можете прописать правила в .htaccess файл, если используете веб-сервер apache.

В следующих статьях мы рассмотрим методы блокировки реферального спама

Вступайте в нашу группу VK, подписывайтесь на канал YouTube и следите за новыми публикациями. Впереди много интересного материала!

Для того, чтобы посмотреть видео, зарегистрируйтесь в личном кабинете

Ссылочный спам. Как избавиться от конкурентов в поисковой выдаче

Несколько недель назад по Рунете прокатилась волна ссылочных атак на сайты самых разных тематик. Пострадали сайты TUi, «АиФ», Минтранс РФ, 1С-Битрикс, inoСМИ.ru, фитнес клуба «Зебра», наш сайт и многие другие. Давайте попытаемся ответить на два вечных вопроса: кто виноват и что делать?

Как понять, что ваш сайт подвергся атаке спамеров?

При анализе ссылок сайта (например, в сервисе Ahrefs или Majestic) наблюдается резкий рост ссылочной массы с низкокачественных доменов. Выглядеть это может, например, вот так:

Это график из Ahrefs для сайта нашего сайта iSEO.ru, где начиная с 6 сентября зафиксирован резкий рост доноров сайта, который абсолютно точно не вызван нашей SEO или маркетинговой активностью.

Проанализировав новые домены, появившиеся в этот период, становится понятно, что на сайт искусственно проставляется огромное количество внешних ссылок. Ниже приведен список низкокачественных доменов, зафиксированных в период роста ссылочной массы.

Определим их качество, проанализировав каждый сайт, где и как проставлена ссылка. В статье мы подробно остановимся лишь на одном сайте, так как последовательность действия для всех остальных будет аналогичной. Для примера возьмем сайт postech.ac.kr. Вот ссылка на спамную страницу, с которой проставлена ссылка на сайт iseo: http://student4.postech.ac.kr/icn_xe/xe/index.php?ar=000481&m >

Что представляет собой подобная страница? Это бесконечно длинная странница с огромным количеством комментариев, в которых (скорей всего автоматически) проставлено огромное количество ссылок на самые разные ресурсы.

Проанализируем, на кого еще ссылается данный сайт. Для этого в Ahrefs заходим в Linked Domains (связанные домены) и делаем экспорт. Получаем приличный список сайтов, ниже представлены ТОП-10 ресурсов из этого списка. Все это довольно крупные международные сайты.

Linked Domains Domain Rating Ahrefs Rank
facebook.com 100 1
twitter.com 98 2
youtube.com 95 3
wordpress.org 94 4
plus.google.com 94 5
adobe.com 93 6
linkedin.com 93 7
google.com 92 8
maps.google.com 92 9
pinterest.com 91 10

Смотрим, на какие русскоязычные домены ссылается postech.ac.kr. Наш сайт также есть в этом списке на последнем месте.

Linked Domains Domain Rating Ahrefs Rank
yandex.ru 85 36
mail.ru 85 40
rambler.ru 84 48
ok.ru 76 424
tiu.ru 72 1287
aif.ru 69 3278
pr-cy.ru 69 4307
msu.ru 68 5219
kinopoisk.ru 68 5260
tmweb.ru 68 5849
1gb.ru 67 5988
infobox.ru 66 9223
torgi.gov.ru 65 11012
spbu.ru 65 14061
yar.ru 64 17272
mybb.ru 64 19304
ferra.ru 63 20440
mintrans.ru 63 20934
inosmi.ru 63 24334
owebmoney.ru 62 29195
aladdin-rd.ru 61 38966
info-dvd.ru 61 40517
xakep.ru 60 50521
sfedu.ru 60 59501
strf.ru 60 62651
iseo.ru 59 67818

Подобных низкокачественных сайтов, участвующих в ссылочном спаме, существует огромное количество, вот только небольшой список, который нам удалось обнаружить.

  • 6ip.nl
  • apprenticesforhire.co.uk
  • clandestinoweb.com
  • devnull.fr
  • dsr2.ru
  • electricegg.net
  • financialloop.com
  • fine-press.com
  • forrestrunners.com
  • goodyou.es
  • halfturbot.com
  • hearingshop.co.kr
  • igorosa.com
  • kongjaru.com
  • littlemonstersforum.co.uk
  • milanresourcing.co.uk
  • montreal-destination.com
  • morgreport.com
  • mucinoffset.com
  • nearwen.com
  • nmc-obolon.com.ua
  • pequenoshijosdeladivinavoluntad.net
  • pl.edu.pl
  • poliklinika-babic.hr
  • postech.ac.kr
  • purailol.com
  • recagno.it
  • reillanne-en-luberon.fr

Мотив

Какая цель такой атаки, так до конца и не понятно. Возможно, это попытка при помощи некачественной ссылочной массы загнать сайт под действие алгоритма «Минусинск» или какой-то эксперимент, тест автоматизированного сервиса. В любом случае ясно, что подобный спам не полезен сайту.

Как сильно ссылочный спам может навредить сайту?

Сейчас поисковые системы особенно сильно взялись за ссылки. Перестав сначала учитывать внешние ссылки по коммерческим запросам, Яндекс дошел до «Минусинска», который нанес существенный удар по биржам ссылок, а также сайтам, злоупотреблявшими SEO-ссылками. Недавнее нововведение поисковика — АГС, который борется с сайтами, продающими ссылки.

Интернет сообщество усмотрело в последнем серьезное ущемление прав владельцев сайтов и даже собирает петицию против алгоритма Яндекса.

Что делать?

Так как поисковики наказывают за покупку и продажу ссылок, первое, что приходит в голову, сообщить Яндексу о ссылочном спаме. Мы так и поступили, собрав все доказательства того, что сайт подвергся внешней атаке недоброжелателей, сообщили все подробности в ТП Вебмастера Яндекса. Ответы от поисковика оказались лишены конкретики.

Ответ от Яндекса №1

Понимаем Вашу ситуацию. При создании алгоритмов ранжирования мы предусмотрели подобные ситуации и постарались исключить возможность негативно повлиять на индексирование или ранжирование сайта извне. Вы не причастны к размещению данных ссылок, то Вам не стоит беспокоиться по этому поводу: на позиции Вашего сайта они повлиять не должны. Каких-либо санкций к Вашему сайту на данный момент не применяется.

Яндекс индексирует все ссылки, которые находит в интернете. Таким образом, пока ссылки существуют, они будут индексироваться роботом и отображаться в сервисе Яндекс.Вебмастер. Если Вы не хотите, чтобы пользователи приходили на Ваш сайт по этим ссылкам, то необходимо обратиться к владельцам сайтов, где они размещены. Надеемся, там Вам пойдут навстречу.

В любом случае, если Вы заметите неожиданное снижение позиций Вашего сайта по каким-либо запросам в поиске Яндекса, пожалуйста, пришлите нам примеры таких запросов. Мы постараемся выяснить, в чем может быть дело.

Яндекс предлагает сделать невозможное — попытаться договориться с вебмастерами корейских, китайских и прочих ресурсов по всему миру о снятии этих ссылок. Никакого инструмента по отклонению ссылок у Яндекса не существует (в Google есть disavow links, который отлично работает в таких ситуациях). Более того, «Минусинск» работает полностью автоматически. Поэтому, если ссылки снять все же не удастся, поисковик предлагает не обращать на них внимание, а продолжать развивать сайт и надеяться, что «Минусинск» сможет отличить спамные ссылки и не загонит ваш сайт под фильтр.

Ответ от Яндекса № 2

У нас в настоящее время нет инструмента по указанию нежелательных внешних ссылок, и список, присланный Вами, мы тоже не сможем применить, так как все происходит строго автоматически.

Но я проверил, санкции к Вашему сайту не применяются, следовательно, подобные ссылки как-либо отрицательно на присутствие сайта в поиске не повлияли.

Следовательно, снижение позиций связано не с санкциями или с этими ссылками, а с корректировками в наших алгоритмах ранжирования, над которыми мы постоянно работаем, стараясь предоставить пользователям наиболее полную и точную информацию по их запросам, кроме того, поисковая выдача все время меняется.

В данной ситуации могу лишь посоветовать Вам продолжать развивать свой сайт, наполнять его уникальным контентом и делать удобным для пользователей – со временем его позиции в выдаче будут улучшаться.

Не самые радужные перспективы. Спамные ссылки продолжают расти ежедневно, и вебмастер остается фактически бессилен и одинок в борьбе с недоброжелателями. Снять подобные ссылки, проставленные ботами на спамных ресурсах, практически невозможно. Поисковик проблему решать не готов, ссылаясь на разумность алгоритмов поиска. Но пока «Минусинск» самообучается, мы наблюдаем, как выдачу Яндекса ежедневно трясет.

Поисковик указывает в своих ответах, что «Яндекс индексирует все ссылки, которые находит в интернете».Что же произойдет с сайтом, если на него будут проставляться подобные низкокачественные ссылки постоянно и по чуть-чуть, создавая имитацию естественного из прироста? Ведь алгоритм учитывает свежие ссылки, а если ссылки старые, а если их продолжать покупать по 1-2 в день и поддерживать в течение года? Эти вопросы так и остаются без ответа.

Очевидно, что необходимо решать проблему на глобальном уровне. Может быть уже не так утопично выглядит идея вообще отказаться от ссылок при ранжировании сайтов?!

В любом случае, если заметили резкий рост ссылок не по вашей инициативе и резкое проседание по топовым позициям, собирайте аналитику и пишите в Яндекс, доказывайте, что вы не закупали эти ссылки. Возможно, в дальнейшем это ваш единственный шанс доказать что-то Яндексу, в случае попадания под фильтр поисковика.

Еще больше материалов по теме в блоге iSEO.

Как уведомить Google об опасных ссылках в результатах поиска

Если в результатах поиска Google вы найдете информацию, которую по вашему мнению следует удалить (например, конфиденциальные данные, незаконное содержание или устаревшие ссылки), мы рекомендуем выполнить следующие действия.

Удаление из поиска спама

Компания Google очень серьезно относится к спаму и всегда исследует зарегистрированные случаи. Инструмент для сообщения о спаме вы найдете на странице https://www.google.com/webmasters/tools/spamreport. Отчеты передаются непосредственно к команде специалистов, занимающихся спамом на сайте и используются для разработки масштабируемых решений по борьбе с этой проблемой.

Если у вас еще нет аккаунта Инструментов для веб-мастеров, вы можете отправить отчет о спаме здесь: https://www.google.com/webmasters/tools/spamreport?hl=ru.

Больше информации о спаме

Если Вам случалось, что после нажатия на результат поиска отображались полностью бесполезные страницы (пустые, не связанные с запросом или содержащие только бред), то Вы уже знаете, как выглядит спам.

Термин «спам» означает тип содержания, созданный веб-мастерами, которые пытаются манипулировать результатами поиска, используя нечестные методы.

Общие методы спама – это, в частности:

  • Скрытый текст или скрытые ссылки. Некоторые веб-мастера скрывают ссылки или текст на веб-странице с целью введения поисковых систем в заблуждение относительно характера содержания страницы.
  • Маскирование и скрытая переадресация. Эти методы используются для показа роботу googlebot подготовленной страницы в целях достижения высоких позиций в результатах поиска, и одновременно перенаправления пользователей на совершенно другую страницу (например, сайты для взрослых или магазину, предлагающий фармацевтические препараты, лекарства или другие продукты).
  • Страницы забиты ключевыми словами. Так же, как скрытый текст, так и ключевые слова, которыми завалена страница, могут повышать рейтинг сайта в поисковых системах.
  • Множество страниц, субдоменов и доменов, содержащих повторяющийся контент. Некоторые веб-мастера пытаются улучшить позиции сайта, создавая сайт с очень большим количеством слов, но с минимальным количеством исходного содержания. Содержание может быть, например, украдено с других сайтов или представлять собой автоматически сгенерированный текст лишенный смысла. Повторяющееся содержание может также отображается в рамках партнерских программ и содержать небольшое количество оригинальных материалов или не содержать вовсе.
  • Дорвеи. Дорвеи – это массово генерируемые страницы, предназначенные в основном для поисковых систем. Создаются по шаблону и часто выглядят одинаково, различаются лишь несколькими ключевыми словами или выражениями. Как правило, каждая страница оптимизирована для определенного ключевого слова или фразы. Некоторые дорвеи сразу перенаправляют пользователей на другую страницу – автоматическим способом или с помощью большой ссылки «нажмите здесь».
  • Системы обмена ссылками. Некоторые веб-мастера участвуют в системах обмена ссылками и создают веб-сайты только для того, чтобы обмениваться ссылками, не принимая во внимание качество ссылок и источников их происхождения, а также долгосрочного влияния таких процедур на их сайт.

Платные ссылки

Покупка или продажа ссылок, которые учитываются в PageRank может снизить качество результатов поиска. Если вы считаете, что сайт используется для покупки или продажи ссылок, сообщите об этом.

Покупка или продажа ссылок, которые учитываются в PageRank, является нарушением руководства для веб-мастеров и может негативно сказаться на рейтинге сайта в результатах поиска.

Вопросы, касающиеся авторских прав

Если вы считаете, что содержание должно быть удалено из индекса Google из-за нарушение авторских прав, сообщите об этом в запросе на удаление нарушения закона DMCA.

В отличие от запросов на удаление спама или личных сведений, запросы, связанные с законом DMCA должны исходить от владельцев контента.

Вредоносное программное обеспечение

Если вы считаете, что сайт содержит опасные или вредоносные программы, сообщите об этом и Google примет необходимые меры.

Другие

Если ни одна из этих причин указанных здесь не подходит, но вы считаете, что содержание должно быть удалено, сначала свяжитесь с веб-мастером сайта. После удаления страницы или изменении ее контента через веб-мастера, изменение автоматически отразится в результатах поиска после следующей загрузки и сканировании данной страницы.

Если веб-мастер внес эти изменения и вы хотите, чтобы были удалены копии, хранящиеся в кэш-памяти, или если веб-мастер не внес изменений, а страница содержит частные личные данные, сообщите об этой проблеме, используя инструмент для удаления URL в Инструментах для веб-мастеров.

5 способов пессимизации сайта в Google

С развитием информационных технологий конкуренция в Сети стала чувствоваться особенно сильно. Каждая компания пытается занять свое место в ТОПе выдачи Google. SEO-специалисты совершенствуют старые технологии и разрабатывают новые. Потеря даже одной позиции, может существенно сказаться на доходах компании. Потерять позиции можно из-за алгоритмов Google.

Сотрудники Google признают наличие негативного SEO, но тем не менее они не согласные с тем, что ключевую роль в этом играют применяемые алгоритмы и фильтры.

Топ-пост этого месяца:  Простой эффект меню YouTube

То есть, Google сам создает предпосылки для возникновения негативного SEO. В это трудно поверить, но факт остается фактом. Это связано с тем, что любое изменение в системах поиска становится причиной каскадного изменения при выдаче результатов, которые нередко удивляют и самих сотрудников Google. Они тоже могут быть введены в заблуждение технической основой фильтров и алгоритмов.

Google алгоритмы и негативное SEO

Независимо от ваших целей при занятии SEO, алгоритмы способны существенно изменить ваши результаты, особенно, если для этого применяются серые и черные техники.

При оптимизации сайтов через ключевые слова Google может начать их игнорировать. При продвижении сайтов с помощью ссылок начали использоваться алгоритмы «Пингвин». После массового использования дешевых ссылок, Google воспользовался алгоритмом “Payday Loan”.

Все это связано с тем, что Google борется за качественные сайты и не поощряет использование серых или черных методов. Из-за этого все технологии, хорошо работающие сегодня, способны значительно понизить рейтинг вашего сайта в дальнейшем. Относится это и к тем методам, которые запрещены и могут понизить рейтинг сайта вашего конкурента.

Дублирование контента

Многие слышали о таком алгоритме Google, как «Панда». Он способен понизить рейтинг сайта за использование любого неуникального контента. Даже если текст предназначается не для продвижения, а просто скопирован с другого сайта. Главное – уникальность контента, которая может быть изменена вашими конкурентами в любое время. Для этого им нужно всего лишь взять ваш текст и разместить его на любых 10 площадках. После этого контент больше не будет вашим преимуществом.

Грязные ссылки и пессимизация сайта

Ссылки являются неотъемлемой частью SEO. Всем известно, что не следует пользоваться спам-ссылками, ведь ваши конкуренты способны использовать фильтры, чтобы понизить рейтинг вашего сайта. Разумеется, Google способен распознать покупку вашими конкурентами 12.000 негативных ссылок на ваш сайт, и такой способ пессимизации вашего сайта может не сработать у ваших конкурентов.

Использование поведенческих факторов для пессимизации

После того как Google стал учитывать поведенческие факторы для ранжировки, этим сразу же воспользовались негативные SEO-шники. Это выглядит очень просто – на страницу конкурентов заводят ботов. Но лучше всего это делать “на страницу 404”. Это повысит вероятность, что Google усомнится в качестве сайта, и число отказов существенно увеличится. Кроме того, вывод сайта по нерелевантным запросам позволит Google понять, что сайт не соответствует тематике.

На этой картинке видно, как снизился показатель отказов после того, как доступ к страницам был ограничен для ряда ip.

Негативное SEO и отзывы

Ни для кого не будет секретом, что отзывы способны применяться в качестве негативного фактора. Особенно, если подобных отзывов много. Неважно реальные они или же поддельные. В любом случае, они способны уменьшить количество клиентов вашего сайта. Речь даже не идет об отзывах, которые оставляют на вашем сайте. Они могут быть оставлены в Google+ и Yelp, а также на других сайтах отзывов. Существует немало площадок, которые способны точно и в короткий срок определить поддельный отзыв или же реальный. Но при желании уменьшить количество клиентов вашего сайта конкуренты в любом случае постараются разместить несколько нелицеприятных отзывов о вас.

Подобные отзывы напрямую связаны с негативным SEO. Ведь они понижают позиции вашего сайта в региональной выдаче и ухудшают поведенческие факторы.

Отчет Google о борьбе со СПАМом в 2020 год

Привет Всем читателям блога. Недавно компания Googe опубликовала результат работы борьбы с поисковым СПАМ в 2020 году.

Компания хочет быть уверена, что при использовании поиска от Google пользователь получает результаты наилучшего качества. Гугл знает о нерадивых веб мастерах, которые пытаются манипулировать поисковой выдачей и получать незаконные доходы. Это идёт вразрез основной цели компании: сформировать информацию и сделать ее общедоступной и полезной.

Google отметил — что менее 1 процента посетителей попали на вэбсайты из спама поиска Гугл. Этот показатель уменьшился вдвое за два года.

Как компания боролась с СПАМ в 2020 году

Поисковые спамеры совершенствуются. В 2020 году увеличилось количество взлома сайтов — использование спама при ранжировании и распространение вредоносного программного обеспечения. Взломанные ресурсы предоставляют угрозу пользователям. Мошенники полностью контролируют сайт, могут редактировать существующий контент, внедрять вредоносное ПО или код, запоминать нажатия клавиатуры. Данные используются при осуществлении финансовых операций в интернете.

Удалось обнаружить и удалить из поисковой выдачи около 80% подобных сайтов. Для помощи владельцам в усилении безопасности своих веб-сайтов компания создала [link]практический курс[/link]. Курс доступен на 19 языках.

Google признает важность систем управления контентом (CMS) WordPress и Joomla. Сотрудничает с ними в сфере борьбы со спамерами, которые злоупотребляют своими форумами, комментируют разделы и веб-сайты.

Нарушением является манипуляция ссылками, которые являются одним из основным показателем для ранжирования поиска. В 2020 году удалили вдвое больше неестественных ссылок.

Работа с пользователями и веб-мастерами для улучшения сети

Компания плотно работает с пользователями интернета. Было принято более 90 млн сообщений о СПАМ. О полученных нарушениях, проблемах компания сообщает вебмастерам. В итоге администраторам сайтов отправлено 45 млн сообщений. Шесть миллионов сообщений связаны с ручными действиями. Админы получают информацию за что получили санкции от поисковика, для исправления.

Члены команды Google регулярно встречаются с веб-мастерами. Они провели 250 онлайн-часов, онлайн-мероприятий и офлайн-мероприятий по всему миру в более чем 60 городах для аудитории, насчитывающей более 220 000 владельцев веб-сайтов. Написано около 280 000 статей. В YouTube выпустили серию видео по SEO.

В 2020 году компания выпустила обновленную Search Console.

Google как флагман поиска отмечает, что постоянно работает над улучшением. Совершенство — бесконечный процесс. Гугл обещает бороться со СПАМ до полной победы.

Полная информация об отчёте в блоге Google.

Буду очень благодарен, если поделитесь статьёй с друзьями

Руководство по удалению реферального спама и фальшивого трафика в Google Analytics

У каждого сайта в среднем только 48,2% переходов являются результатом активности реальных пользователей, согласно исследованию Imperva Incapsula. Весь остальной трафик обеспечен визитами ботов. Их доля меняется в зависимости от посещаемости сайта.

В этом материале мы покажем, как минимизировать или даже полностью избавиться от негативного влияния фальшивого трафика на отчеты в Analytics.

Введение в тему

В Google nalytics фейковый трафик определяется как одно или более фальшивых обращений, отправленных на сайт. Они генерируются программами или ботами и не являются результатом взаимодействия реальных пользователей с сайтом. Спамер может отправить фальшивый реферальный, органический, прямой трафик, а также трафик из социальных сетей. Кроме того, он может подделать события, виртуальные просмотры страницы, имя хоста, URL, ключевые слова, транзакции и другие данные:

С хорошими знаниями протокола передачи статистических данных Google Analytics ( Measurement Protocol) можно раздуть или полностью удалить все данные о продажах из любого аккаунта в Analytics. Хакеру нужен только ID ресурса, чтобы провернуть всю эту черную магию. После этого он может практически переписать данные, находясь в любой точке мира и не имея доступа к аккаунту в Analytics.

От отправки фейкового трафика выигрывает любой человек, который получает финансовую выгоду от увеличения трафика в вашем аккаунте Analytics. Это могут быть партнеры ( так как они получают комиссию), SEO-специалисты ( которые получают возможность похвастаться перед клиентом/начальником своими достижениями).

В последнее время фейковые обращения также используются с целью пропаганды. Например, так было со спамом в языках, где призывали голосовать за Трампа на выборах в США.

Фейковые обращения генерируют боты. Вот варианты применения их со злым умыслом:

  1. Скликивание ( чтобы увеличить рекламный доход или слить рекламный бюджет конкурентов).
  2. Сбор email-адресов ( для массовых рассылок).
  3. Создание фейковых аккаунтов.
  4. Спам в комментариях.
  5. Копирование контента сайтов ( чтобы создать сайт для размещения рекламы от AdSense).
  6. Распространение вредоносных программ ( для рекламы и получения оплаты за просмотры и клики по объявлению).
  7. Сбор ID пользователей Analytics для отправки фальшивого трафика.
  8. Отправка фейкового трафика на сайт и др.

В зависимости от способа применения, могут быть хорошие и плохие боты. Хорошие роботы подчиняются директиве robots. txt, а плохие — нет. В среднем на сайт 22,9% трафика генерируют хорошие боты и 28,9% — плохие.

Спам-боты используют разные методы для собственной маскировки, поэтому зачастую системам безопасности сложно их определить. Они могут притвориться браузером ( например, Chrome или Internet Explorer) или трафиком с легального сайта.

Не все спам-боты созданы для отправки фейкового трафика в Google Analytics. Но так или иначе они искажают данные любой аналитики, могут просто «съесть» пропускную способность сайта и негативно повлиять на его производительность. При худшем сценарии они смогут взломать сайт или установить на нем вредоносные программы. К Google Analytics относятся два типа спам-ботов:

  1. Посещающие сайты.
  2. Не посещающие сайты.

Как найти фальшивый трафик

Вот инструкция для поиска спама от ботов, которые посещают ваш сайт:

Шаг 1. Настройте отчет по источникам в представлении Google Analytics.

Шаг 2. Установите диапазон дат на последние два месяца.

Шаг 3. Отсортируйте список в порядке убывания по показателю отказов или вставьте следующее выражение в поле фильтра, чтобы убрать весь спам в отчете.

Шаг 4. Найдите источники трафика ( далее — рефералы) с показателем отказа 100% или 0% и десятью или более сессиями. Они скорее всего дают реферальный спам.

Примечание. Список источников спама можно найти здесь.

Шаг 5. Если вам не удается определить подлинность подозрительно выглядящего источника, то можете рискнуть и перейти на сайт, чтобы понять, легитимен ли он и действительно ли ссылается на ваш сайт. До перехода убедитесь, что на вашем сайте установлен антивирус/программа против вредоносного ПО, так как ваш сайт могут попытаться заразить.

Шаг 6. Отметьте все источники спама, чей трафик вы хотите заблокировать в своем представлении Google Analytics:

Шаг 7. Сохраните список источников спама в виде регулярного выражения. Например, если ниже список источников спама:

  • semalt.com
  • semalt.semalt.com
  • buttons-for-website .com
  • blackhatworth.com
  • 7makemoneyonline.com

тогда регулярное выражение будет таким:

Это выражение можно использовать для выставления фильтра в представлении Google Analytics.

Как заблокировать фейковый трафик

Есть несколько способов борьбы со спамом: блокировать источники, IP-адреса , диапазоны IP-адресов , User Agent ботов на уровне серверов или с помощью фильтров Google Analytics.

В первых четырех методах необходимо внести в файл .htaccess предварительно собранные данные о ботах. Для этого воспользуйтесь помощью своего системного администратора: он лучше всего справится с атакой ботов.

Если по какой-то причине вы не имеете доступа для редактирования файла .htaccess, то вы можете заблокировать фальшивый трафик с помощью расширенных фильтров в Analytics. Однако не используйте этот метод в том случае, если вы можете редактировать файл .htaccess. Начните борьбу с ботами на уровне сервера: в этом случае вам не придется исключать их из отчетов в Analytics.

Блокирование спам-ботов на уровне сервера всегда эффективнее, потому что так вы полностью избавляетесь от них, а не просто исключаете из отчетов в Analytics. Однако для аналитики трафика, каналов и рекламы настройки фильтров будет достаточно.

Настройка фильтров Google Analytics: инструкция

Шаг 1. Создайте копию вашего основного представления в Google Analytics. Если фильтры будут корректно работать здесь, используйте их в вашем основном представлении. Такая предосторожность необходима, потому что при настройке неправильных фильтров в основном представлении, то могут повредиться все данные.

Шаг 2. В основном представлении Analytics во вкладке Администратор нажмите на Настройки представления:

Шаг 3. Нажмите на кнопку Копировать представление:

Шаг 4. Назовите новое представление в виде Название вашего бренда + Тестовое представление, например: еЛама.ру Тестовое представление. Затем нажмите на кнопку Копировать представление:

Шаг 5. Во вкладке Администратор тестового представления перейдите по ссылке Фильтры:

Шаг 6. Нажмите на кнопку Добавить фильтр:

Шаг 7. Создайте новый пользовательский фильтр с исключениями и вставьте в поле регулярное выражение, которые вы создали ранее:

Фильтр должен заблокировать весь трафик от указанных спам-рефералов .


Шаг 8. Нажмите на ссылку Проверить этот фильтр и сохраните его:

После этого вы сможете увидеть результаты тестирования фильтра.

Примечание. Если в вашем тестовом представлении мало данных, то ссылка Проверить этот фильтр может не работать, и вы увидите следующее сообщение: Этот фильтр не изменяет данные. Конфигурация фильтра неправильная или данных недостаточно. Игнорируйте его и жмите на кнопку Сохранить, чтобы завершить создание фильтра. Он сразу появится в списке фильтров:

Шаг 9. Если фильтр работает, как ожидалось, создайте такой же в основном представлении.

Примечание. Не исключайте источники реферального спама через Список исключаемых источников перехода. Это не решит вашу проблему, а только скроет ее. В этом случае трафик от ботов появится в отчетах как прямой, и вы больше не сможете измерить их влияние на трафик сайта.

Фильтрация роботов: инструкция

Вы также можете использовать функцию фильтрации роботов от Google Analytics. Для этого следуйте инструкции ниже:

Шаг 1. Зайдите во вкладку Администратор своего представления в Analytics и нажмите на Настройки представления.

Шаг 2. Прокрутите страницу вниз и поставьте флажок у функции Исключить обращения роботов и «пауков»:

Не каждый сайт одинаково страдает от спам-ботов

Это происходит из-за того, что спам-боты предназначены, чтобы находить и использовать уязвимые места сайта. Часто они атакуют именно слабые сайты. Так что если ваш сайт размещен на одной из дешевых хостинг-платформ или использует адаптированные CMS/Shopping Cart ( система для интернет-магазинов), то риск атаки повышается. Часто адаптированные CMS/Shopping Cart не тестируют настолько тщательно, чтобы найти слабые места. Поэтому лучше использовать известные хостинг-провайдеры , предлагающие решения для CMS и Shopping Cart.

Если вы в больших масштабах используете партнерский интернет-маркетинг , то ваш сайт также могут атаковать спам-боты , поэтому выбирайте партнеров с умом. Также задумайтесь об использовании межсетевого фильтра. Он действует как фильтр между вашим компьютером/сервером и интернетом, чтобы защищать сайт от спам-ботов .

Оповещения от Google Analytics, чтобы не упустить трафик от спам-ботов

Используйте специальные оповещения для отслеживания необычных скачков в ежедневном трафике, особенно в прямом и реферальном. В этом случае вы сможете быстро находить и устранять плохих ботов и тем самым минимизировать их воздействие.

Полный список факторов ранжирования Гугла — часть 2

Факторы, связанные с сайтом

  1. Контент создаёт ценность или содержит уникальные инсайты

Гугл заявил, что будет охотиться за сайтами, которые не привносят ничего нового или полезного, особенно это касается дорвеев.

  1. Страница «Свяжитесь с нами»

Вышеупомянутый манифест Гугла (Google Quality Document) говорит, что предпочтение отдаётся сайтам с нормальным количеством контактной информации. Предполагается бонус если контакты с этой страницы совпадают с информацией whois домена.

Трас сайта измеряется тем, сколько ссылок с трастовых сайтов ведёт на ваш сайт – это чрезвычайно важный фактор ранжирования.

  1. Структура сайта

Грамотная архитектура сайта помогает Гуглу тематически организовать контент на нём.

  1. Обновления сайта

Как часто обновляется сайт? Особенно важно то, когда добавляется новый контент на сайт – это влияет на то, насколько актуальна информация на вашем сайте.

  1. Количество страниц

Количество страниц на вашем сайте это слабый признак авторитетности. По крайней мере, большое количество страниц позволит отличить его от дорвеев.

  1. Наличие карты сайта

Карта сайта упрощает задачу поисковикам по индексированию ваших страниц и позволяет им делать это боле тщательно, улучшая их видимость.

  1. Доступность сайта

Большое количество даунтаймов из-за проблем с сайтом или оборудованием может негативно влиять на ранжирование (и если проблема не будет исправлена, то сайт может даже быть викинут из индекса).

  1. Месторасположение сервера

Географическое местоположение вашего сервера может влиять на ранжирование в разных регионах. Особенно для гео-зависимых запросов.

  1. НаличиеSSL сертификата

Гугл подтвердил, что они индексируют SSL сертификаты и используют наличие HTTPS на сайте как фактор ранжирования. Подробнее о необходимости добавления SSL сертификата можно прочитать в статье «Исчерпывающий гайд по созданию дружественных к SEO ссылок».

  1. Страница «Условия использования» и «Положение о защите персональных данных»

Эти страницы дают понять Гуглу, что сайт является заслуживающим доверия кусочком интернета.

  1. Дублирование мета-информации на сайте

Дублирование может привести к ухудшению видимости ваших страниц.

  1. Навигация с помощью хлебных крошек

Это один из элементов user-friendly интерфейса, который помогает посетителям (и поисковым системам) понять в какой части сайта они находятся (рис. 1).

Топ-пост этого месяца:  Новая версия Angular 7 основные функции и работа с исправлением ошибок

Многие исследователи считают, что наличие хлебных крошек может быть фактором ранжирования.

Влияние этого элемента управления на ваш сайт многогранно. Подробнее о нём можно почитать в нашей статье «72 обязательные фичи коммерческих сайтов».

  1. Оптимизация под мобильные девайсы

Официальная позиция Гугла заключается в том, что сайтам необходима адаптивная версия. Вероятно, адаптивные сайты займут все верхние строчки в выдаче в поиске через мобильные устройства. Но по факту сейчас для таких сайтов сейчас добавляется метка «Дружественный к мобильным устройствам». Также Гугл начал понижать сайты, которые не удобны для просмотра с мобильных устройств.

Нет сомнений, что видеороликам с Youtube отдаётся предпочтение в поиске (возможно, потому что Ютьюб принадлежит Гуглу) (рис. 2).

Фактически, исследования показали, что трафик на Youtube значительно увеличился после Панды.

Сайт, которым сложно пользоваться или перемещаться по нему негативно влияет на ранжирование за счёт уменьшения времени, проведённого на сайте, уменьшения количества просмотренных страниц и количеству отказов. Эта информация может быть получена из огромного массива пользовательских данных.

  1. Использование Гугл Аналитики и Инструментов для Вебмастеров

Некоторые считают, что установка на сайт двух этих приложений приведёт к улучшению индексации вашего сайта. Они также могут влиять на ранжирование, давая Гуглу больше данных о вашем сайте (более точные показатели отказов, есть ли трафик по входящим ссылкам и т.д.).

  1. Отзывы пользователей/репутация сайта

Наличие отзывов о вашем сайте на таких сайтах нак Yelp.com или RipOffReport.com скорее всего играет важную роль в ранжировании.

Факторы, связанные со входящими ссылками

  1. Возраст домена

Бэклинки со старых доменов могут сильнее влиять на ранжирование чем ссылки с молодых доменов.

  1. Количество ссылающихся доменов

Количество ссылающихся доменов – это один из наиболее важных факторов ранжирования гугла. Собственно это видно по результатам одного из исследований (по горизонтали идёт позиция в выдаче) (рис. 3):

  1. Количество ссылок с различныхIP адресов классаC

Количество ссылок с различных IP адресов класса С предполагает большее количество ссылающихся на вас сайтов.

  1. Количество ссылающихся страниц

Общее количество ссылающихся страниц (даже если некоторые находятся на одном домене) – это тоже фактор ранжирования.

  1. Наличие атрибутаalt у изображений

У изображений alt — это как анкер у ссылок.

  1. Ссылки с доменов в зонах .edu или .gov

Мэтт Каттс заявил, что сама по себе доменная зона не влияет на значимость сайта. Однако, это не убедило СЕОшников, которые продолжают считать что домены в зонах .edu и .gov занимают какое-то особенное место.

  1. Авторитетность ссылающихся страниц

Авторитетность (PageRank) ссылающихся на вас страниц – это чрезвычайно важный фактор.

  1. PR ссылающегося домена

PR ссылающегося домена может играть независимую роль в оценке важности ссылки. Например, ссылка со страницы с PR2 и домена с PR3 может внести меньше вклада чем страница с PR2 и домена с PR8 yale.edu.

  1. Ссылки сайтов конкурентов

Ссылки с сайтов конкурентов могут цениться выше, чем ссылки с других сайтов пусть и с аналогичным PR.

  1. Количество расшариваний ссылающейся страницы

Количество расшариваний может влиять на вес ссылки.

  1. Ссылки с линкопомоек

Ссылки с подобных сайтов могут сильно повредить вам.

  1. Гостевые посты

Хотя гостевой постинг может быть частью белого СЕО, ссылки на ваш сайт из таких постов (особенно из раздела про автора поста), могут быть не такими полезными как контекстные ссылки из контента с этой же страницы.

  1. Ссылки на главную страницу

Ссылки на домашнюю страницу могут вносить важный вклад в ранжирование акцепотра, и следовательно влиять на вес такой ссылки.

  1. Nofollow ссылки

Это одна из самых спорных тем в SEO. Официальная позиция Гугла следующая: «В общем и целом, мы не следуем по ним». Что означает, что в некоторых случаях они всё таки следуют по ним. Наличие некоторого % nofollow ссылок делает ваш ссылочный профиль более естественным.

  1. Различные варианты ссылок

Наличие неестественно большого количества ссылок из одного источника (профили на форумах, комментарии) может быть расценено как спам. С другой стороны, ссылки из различных источников будут признаком естественного ссылочного профиля.

  1. «Спонсорские ссылки» или другие слова вокруг ссылки

Такие слова как «спонсор», «ссылки на партнеров» могут понизить вес ссылки.

  1. Контекстные ссылки

Ссылки, встроенные в контент страницы, считаются более весомыми, нежели ссылки на пустых страницах, или в любых других местах страниц (рис. 4).

  1. Излишний 301 редирект на страницу

Ссылки, приходящие из-за 301 редиректа могут терять часть или вообще весь свой PR.

  1. Анкеры бэклинков

Как говорится в описании алгоритма Гугла: «Во-первых, анкеры часто содержать более точное описание страницы, чем сами страницы».

Очевидно, анкер менее важен, нежели ранее (и может быть признаком переспама). Но всё равно в небольших количествах является признаком релевантности.

  1. Анкеры внутренних ссылок

Анкеры внутренних ссылок также являются сигналами о релевантности, хотя, возможно их вес рассчитывается не так как вес бэклинков.

О том, как работать с внутренними ссылками смотрите нашу статью «Исчерпывающий гайд по созданию дружественных к SEO ссылок».

  1. Атрибутtitle у ссылок

Тайтл ссылки (текст, который появляется, когда вы наводите курсор на ссылку), так же используется как слабый признак релевантности.

  1. Ссылки с сайтов в национальных доменных зонах

Входящие ссылки с сайтов, расположенных в национальных доменных зонах (.de, .cn, .co.uk и т.д.) могут помочь ранжироваться лучше в этих конкретных странах.

  1. Положение ссылки внутри контента

Ссылки, расположенные в начале контента ценятся более высоко, нежели ссылки, расположенные в конце.

  1. Положение ссылки на странице

Важно в каком месте появляется ссылка на странице. В общем, ссылка, встроенная в контент, более ценна, чем ссылка в подвале или сайдбаре.

  1. Релевантность домена

Ссылка с сайта похожей тематики существенно ценнее, чем ссылка с совершенно нерелевантного сайта. Поэтому сегодняшние стратегии продвижения концентрируются на получении релевантных ссылок.

  1. Релевантность страницы

Алгоритм Хиллтоп утверждает, что ссылки со страниц-доноров тесно связанных по тематике со страницами-акцепторами, более весомые, нежели ссылки с нерелевантных страниц.

  1. Текст вокруг ссылки

Гугл возможно может отличить является ли ссылка на сайте рекомендацией (проплаченной) или естественной. Ссылки с хорошим окружающим текстом ценятся выше.

  1. Ключевое слово в тайтле

Гугл питает особую любовь к ссылкам на страницах, которые содержат в тайтле ключевое слово вашей страницы (эксперты ссылаются на экспертов).

  1. Положительный рост объёма ссылочной массы

Сайты с положительным приростом ссылочной массы, обычно получают преференции в выдаче.

  1. Отрицательный рост объёма ссылочной массы


Уменьшение ссылочной массы может свидетельствовать о падении популярности и привести к существенному понижению в выдаче.

  1. Ссылки с наиболее популярных сайтов

Алгоритм Хиллтоп также предполагает, что ссылки со страниц ресурсов, считающихся наиболее популярными в вашей индустрии, заслуживают особого внимания.

  1. Ссылки с сайтов с высокимPR

Ссылки с сайтов с высоким PR ценятся выше, чем ссылки с маленьких нишевых сайтов.

  1. Ссылки из Википедии

Хотя такие ссылки являются nofollow ссылками, многие специалисты думают, что ссылка из Википедии даст вам небольшой прирост траста и PR в глазах поисковых систем.

  1. Совместное вхождение слов

Слова, которые появляются вокруг ваших бэклинков, помогают Гуглу понять о чём страница.

  1. Возраст обратной ссылки

В соответствии с патентом ГУгла, более старые ссылки имеют больший вес, нежели недавно добавленные.

  1. Ссылки с реальных сайтов и спам-сайтов

В связи с распространением сеток сайтов, Гугл возможно даёт больше веса ссылкам с настоящих сайтов, чем ссылкам с фейковых блогов. Скорее всего, он использует информацию о бренде и поведенческие факторы, чтобы отдели одни от других.

  1. Естественный ссылочный профиль

Сайт с естественным ссылочным профилем будет ранжироваться ваше и будет более устойчивым к апдейтам алгоритма.

  1. Взаимные ссылки

Гугл считает, что нужно избегать методики взаимного обмена ссылками.

  1. Ссылки из контента, сгенерированного пользователями (UGC)

Гугл может отличить ссылки из контента, сгенерированного пользователями, от ссылок, поставленных владельцем сайта. Например, он знает, что ссылки, поставленные из официального блога WordPress.com, сильно отличаются от ссылок, поставленных с блога besttoasterreviews.wordpress.com.

  1. Ссылки из-под 301 редиректа

Ссылки из-под 301 редиректа могут терять часть веса по сравнению с прямыми ссылками. Однако, Мэтт Каттс сказал, что такие ссылки аналогичны.

  1. Микроразметка Schema.org

Страницы, поддерживающие микроразметку, могут ранжироваться выше страниц без микроразметки. Это может быть прямой прирост в позициях или просто рост CTR (рис. 5):

  1. Наличие в каталогеDMOZ

Многие верят, что присутствие сайта в каталоге DMOZ даёт небольшой прирост траста.

  1. Траст ссылающихся сайтов

Траст ссылающихся сайтов определяет количество переданного траста вам.

  1. Количество исходящих ссылок на странице

PR конечен. Ссылка на странице с сотнями исходящих ссылок передаёт меньше PR чем ссылки со страниц, на которых всего несколько исходящих ссылок.

  1. Ссылки их профилей на форумах

Из-за выхода технологий ссылочного спама на промышленные объёмы, Гугл существенно понизил ценность ссылок из форумных профилей.

  1. Объём контента, из которого ссылаются на вас

Ссылка из текста в 1000 слов более ценна, чем ссылка из текста в 25 слов.

  1. Качество контента, из которого ссылаются на вас

Ссылки из криво написанного текста или рерайта не передают столько же веса как ссылки из хорошо написанного контента и контента с мультимедиа элементами.

  1. Сквозные ссылки

Мэтт Каттс подтвердил, что сквозные ссылки «сжимаются» до одной.

На этом разрешите завершить нашу вторую часть этой статьи.

Как вы можете использовать эту информацию применительно к своим сайтам?

Специально для вас создан пошаговый чеклист, с помощью которого вы можете быстро внедрить наиболее важные техники из этой статьи.

Чеклист содержит 10 наиболее важных ранжирующих факторов и суперэффективных стратегий, которые позволят вам подняться в выдаче и получить больше трафика.

Как спамеры используют сервисы Google

Google — это не только поиск, но еще и множество других сервисов, которыми миллиарды людей пользуются каждый день: Gmail, календарь, Google Drive, Google Photos, Google Translate и другие. И все они интегрированы друг с другом: календарь привязан к почте, почта — к Google Drive, Google Photos — туда же, и так далее.

Это удобно: зарегистрировался один раз — и можешь пользоваться сразу всем. Причем не надо делать лишних движений, пытаясь перенести результат работы одного сервиса в другой: «Гугл» все сделает за тебя. Эту особенность научились эксплуатировать онлайн-мошенники, используя сервисы Google для рассылки спама и других недобрых дел.

Спам через сервисы Google: Calendar, Photos, Drive, Storage и Forms

Главная задача спамера — доставить электронное письмо в ваш почтовый ящик, обойдя спам-фильтр. Сервисы Google как раз умеют отправлять письма-уведомления на Gmail-ящики, ну а антиспам-модуль Google вряд ли сочтет нотификации от собственных сервисов за спам. Рассказываем, какие сервисы Google спамеры используют — и как.

Спам в Google Calendar

Google Calendar — онлайн-сервис для планирования встреч, событий и дел с привязкой к календарю. Естественно, если кто-то назначает вам встречу, вы получаете об этом уведомление. Недавно массово назначать встречи повадились спамеры.

Google Calendar устроен так, что встречу вам может назначить кто угодно. Поэтому и сам «Календарь», и почтовый сервис, получающий уведомление, абсолютно нормально относятся к тому, что встречу вам назначает абсолютно незнакомый человек.

А вот в полях «Тема мероприятия» и «Где» спамеры прописывают все то, что они хотят до вас донести: обычно это немного текста о том, что вам положена денежная выплата по какому-нибудь поводу, и ссылка, по которой эту денежную выплату якобы можно забрать.

Дальше все просто — либо ссылка фишинговая и злоумышленники будут пытаться выманить у вас данные карты (якобы чтобы отправить вам «вознаграждение»), либо они попросят какую-то комиссию за перевод, которую надо оплатить до того, как придет «полагающаяся вам сумма». Которая, конечно же, не придет никогда.

Также злоумышленники активно используют календарь, чтобы назначать пользователям встречи для прохождения фейковых опросов, за которое якобы тоже полагается вознаграждение. В принципе, ничто не мешает им пользоваться этой же лазейкой для рассылки любых других видов спама или фишинга, а также для доставки вредоносного кода.

Спам в Google Photos

Через Google Photos мошенники активно «делятся» фотографиями, снабжая их комментариями о внезапных крупных денежных переводах, получить которые можно, ответив на указанную в сообщении почту. Для получателя это выглядит как безобидное письмо от Google Photos с заголовком: «Такой-то человек поделился с вами фотографией».

Например, фотография несуществующего чека сразу выдает намерения мошенников: на чеке упоминается некая комиссия, которую придется заплатить, чтобы получить перевод намного большей суммы. После того как жертва уплатит комиссию, мошенники просто разорвут с ней любой контакт.

Google Photos удобны для мошенников именно тем, что в письме можно уместить и картинку, и текстовый комментарий, при этом заголовок письма настолько безобидный, что его почти наверняка откроют.

Спам в Google Forms

Этот универсальный инструмент для создания форм и опросов также активно используется мошенниками для сбора персональных данных пользователей и рассылки непрошеных коммерческих предложений.

Google Forms также полюбился мошенникам и для фишинга — ведь на основе этого сервиса можно делать довольно убедительно выглядящие формы для сбора данных, в которые незадачливая жертва будет вписывать свои личные данные, номер карты и так далее.

Спам в Google Drive и Google Storage

В своих квартальных отчетах по спаму и фишингу мы не раз предупреждали пользователей о том, что мошенники уже давно и активно используют облачные хранилища данных, чтобы спрятать свой нелегальный контент. Ведь по уникальной ссылке из письма со случайным набором символов спам-фильтрам крайне сложно определить, является ли она мошеннической.

Таким способом до получателя можно доставить по сути что угодно: и вредоносный код, и фишинговую страничку с формами сбора персональных данных, и назойливую рекламу. Чаще всего подобные ссылки ведут на облачные документы (текстовые файлы, таблицы или презентации), где обнаруживается более подробное описание с новыми ссылками на конечный «продукт».

Также множество спамерских ресурсов размещено на сервисе для хранения файлов Google Storage. Это и ссылки с редиректами на мошеннические лендинги, и различные изображения, используемые в спам-рассылках.

Спам в Google Analytics

Подобный спам добрался и до многих других популярных сервисов Google. Таких, например, как чат Google Hangouts и даже уведомления от Google Ads и Google Analytics. В последнем случае пользователю приходит письмо с вложенным PDF-отчетом о посещаемости какого-то совершенно неизвестного ему сайта.

При этом Analytics позволяет сопроводить этот файл текстом и ссылкой, чем и пользуются злоумышленники. И здесь им ничто не мешает ориентироваться уже на бизнес, ведь данными сервисами активно пользуются владельцы сайтов.

Проблема спама через общеизвестные сервисы

В качестве платформы для распространения нелегального контента спамеры облюбовали не только сервисы Google. Мошеннические сообщения и комментарии в огромном количестве появляются во всех популярных соцсетях и сервисах (Facebook, Twitter, Instagram) — везде, где есть открытый доступ и возможность что-то написать.

Еще одна проблема в том, что многие сервисы имеют привязку к мобильным телефонам пользователей, а значит, каждое новое уведомление не только приходит на почту, но и дублируется в виде всплывающего окна на экране гаджета. Это делает спам крайне назойливым — лезущие изо всех щелей уведомления постоянно отвлекают получателей, в результате чего они становятся менее внимательными и могут не глядя кликнуть по мошеннической ссылке.

Главная же проблема в том, что сообщения, отправленные через легальные сервисы, получают типичные заголовки этого сервиса, поэтому спам-фильтры зачастую принимают их за безвредные уведомления. Поскольку темы у спама самые разные, для их отсечения спам-фильтр приходится настраивать слишком жестко, а это влечет чрезмерное количество ложных срабатываний. Чем и пользуются спамеры, активно эксплуатируя публичные сервисы для своих целей.

Как защититься от спама через Google и другие широко используемые сервисы

К сожалению, универсального рецепта защиты от такого спама нет — в зависимости от сервиса приходится выставлять разные настройки, и зачастую они снижают удобство использования этого самого сервиса.

Например, в случае календаря можно отключить автоматическое добавление мероприятий в календарь, пока вы не примете приглашение, но это же отразится и на тех мероприятиях, которые вас действительно интересуют. Впрочем, поскольку спам через календарь, пожалуй, самый навязчивый, это разумное действие.

Справедливости ради также стоит сказать, что Google постоянно борется со спамом и делает действительно много для того, чтобы сервисы не использовались мошенниками. Но, как справедливо замечают представили самого Google, борьба со спамом — это вечная битва. Так что рано или поздно существующие виды спама через сервисы Google будут побеждены, но мошенники, вероятно, найдут еще какие-нибудь лазейки.

Самое важное — быть внимательным.

  • Не открывайте письма от неизвестных отправителей.
  • Не принимайте встречи от людей, которых вы не знаете.
  • Не кликайте по ссылкам в письмах, которых вы не ждали.
  • Используйте надежное защитное решение с анти-спам модулем, который поможет отсеять как минимум часть спама, пролезающего через спам-фильтр Google.
Топ-пост этого месяца:  Оптимизация изображений для сайта уменьшаем вес онлайн-страницы без потери качества

Как исключить спам в Google Analytics, или Кто портит ваши данные

Что делать, если вы столкнулись со спамом в отчетах Google Analytics? Значит ли это, что кто-то имеет доступ к вашему аккаунту, или что кто-то специально влияет на данные сайта в GA? Как они это делают? И как исключить подобные данные из отчетов?

Когда в источниках реферального трафика появляются нетематические ресурсы, или когда вы открываете «Поведение → События → Обзор», и видите событие, которое точно не настраивали самостоятельно, самое время разобраться, в чем же тут дело. Спам в событиях от event-tracking.com

Зачем спамить в Google Analytics?

Google Analytics — самый популярный инструмент веб-аналитики, его используют миллионы пользователей. Спамеры рассчитывают на переходы любопытных владельцев сайтов, а что уже делать с этими переходами — монетизировать через баннеры, перенаправлять в магазин или использовать любым другим способом — каждый решает сам. Даже если принять процент любопытства за 10%, в соотношении с миллионами пользователей Google Analytics это получится значительная цифра.

Как они это делают? Метод спама Google Analytics #1: Ghost spam

Ghost spam (спам-призрак) называется призраком, потому что отправляет данные в GA без взаимодействия с сайтом напрямую.

Как же данные попадают в Google Analytics? GA использует протокол для передачи данных — Measurement Protocol, который позволяет разработчикам отправлять данные напрямую на сервера Google Analytics. Measurement Protocol сам по себе — хорошая вещь, он позволяет использовать возможности Google Analytics для сбора данных практически из любой среды. Таким образом, становится возможным использовать инструменты аналитики GA, к примеру, в сети магазинов розничной торговли. Данные по продажам или любым другим взаимодействиям с покупателями магазинов будут собраны в Google Analytics подобно данным с веб-сайтов. Однако, тот же Measurement Protocol можно использовать и для передачи спама.

Для доступа к аккаунту GA достаточно знать ID аккаунта. Спамерам ничего не нужно узнавать — ID можно генерировать автоматически в больших количествах. Остальное они вводят сами — рефералов, страницы, имена хостов, ключевые слова и так далее. Автоматизированный скрипт отправляет ложные данные в разные аккаунты GA.

Так как непосредственного взаимодействия с сайтом нет, то нельзя отсечь спамные данные на уровне сервера, используя .htaccess. Данные можно исключить из отчетов только с помощью фильтров Google Analytics.

Пример Ghost spam: спам в событиях GA от www.event-tracking.com

Вы, конечно же, знаете, какие именно события настроены на сайте, и что хотите отслеживать. Поэтому идентифицировать спам в событиях очень просто. Если в событиях вы обнаружили чужое сообщение, к примеру, «to use this feature visit: www.event-tracking.com» — это спам. Чтобы отсеять ложные данные по несуществующему событию, нужно настроить отдельный фильтр — подробные инструкции, как это сделать, смотрите в конце поста.

Метод спама Google Analytics #2: Crawler Referrer Spam

Есть роботы, которые совершают обход сайтов с целью привлечь трафик на определенный портал. Данные, которые такие роботы оставляют в Google Analytics, не несут никакой полезной информации, а сфабрикованные показатели искажают статистику. Такие роботы игнорируют директивы robots.txt, поэтому блокировать их там нет смысла. Хорошая новость в том, что здесь есть обращение к сайту. Это значит, что можно заблокировать робота-спамера не только в настройках Google Analytics, но и в .htaccess на уровне сервера.

Как определить реферальный спам в отчетах?

Зайдите в свой аккаунт Google Analytics, вкладка «Отчеты», «Источники трафика → Весь трафик → Рефералы». К отчету добавьте дополнительный параметр «Поведение → “Имя хоста”» и отсортируйте по имени хоста. Увидите много интересного 🙂 Поиск реферального спама в отчетах Если рефералов много, для удобства работы лучше выгрузить все данные в таблицу, и там отобрать те источники, которые необходимо исключить. Экспорт данных из Google Analytics

Какие параметры нужно проанализировать для идентификации спамера?

  1. Источник — неестественный или нетематический адрес сайта говорит сам за себя.
  2. Новые сеансы и Показатель отказов — в первую очередь обратите внимание на значения 0% или 100%.
  3. Имя хоста — набор символов или «not set».
  4. Дублирование значений в дополнительных параметрах. В нашем случае — данные для «Имя хоста» и «Название экрана» для сайтов erot.co, sanjosestartups.com, непереводимая.рф и так далее частично или полностью совпадают.

Сравнение данных имени хоста и названия экрана для одинаковых источников.

5. Списки спамеров Google Analytics в сети. Если мишенями спамеров становится большое количество людей, то и списки спам-роботов будут совпадать. Понимая это, Вы можете отсеять часть спама заранее. Настройте фильтр по чужому списку спамеров — пример такого списка находится здесь. Или сделайте общий список спамеров для нескольких SEO-проектов и примените к каждому сайту по отдельности.

Как исключить реферальный спам: фильтры Google Analytics

Как мы уже писали выше, оба вида спама — Ghost spam и Crawler Referrer Spam — можно исключить из отчетов внутренними инструментами GA, настроив соответствующие фильтры.

Важно! Не применяйте фильтры к основному представлению Google Analytics, иначе часть данных для вашего сайта не будет собрана. Для фильтрации данных используйте имеющееся дополнительное представление или создайте его (подробнее).

Фильтр по источнику кампании

Любые метрики Google Analytics — количество переходов, длительность сессий, события и все остальное — имеют источник. Чтобы исключить их из отчета, внесите URL определенного сайта как источника кампании в фильтр представления с настройкой «Исключить». В дальнейшем все данные из этого источника не будут добавлены к отчету. Как настроить фильтр:

  1. Войдите в аккаунт Google Analytics.
  2. Перейдите на вкладку «Администратор».
  3. Выберите представление, к которому будет применен фильтр. Основное представление не нужно трогать 🙂

4. В меню сразу под выбранным представлением выберите «Фильтры». 5. Кликните «Фильтры» → «Новый фильтр». 6. Заполните поля, как показано на скринах ниже. Настройка антиспам фильтра по источнику кампании. 7. Сохраните фильтр. Такой фильтр исключит все данные, которые приходят из указанного источника, в том числе и спам в разделе «События».

Фильтр по имени хоста или по любому другому параметру

Как настроить фильтр: пункты 1-5 те же — перейдите на вкладку «Администратор», выберите представление и откройте вкладку создания нового фильтра. Далее так же заполняем фильтр, только вместо «Источник кампании» выбираем «Имя хоста».

Аналогичным образом можно отфильтровать спамные данные и по другим параметрам. Главное, определить параметр, который однозначно определит нежелательный источник.

Важно! Обязательно проверяйте фильтр перед применением. К примеру, вы можете указать адрес сайта, имя хоста которого нужно исключить. Предположим, что для сайта в качестве имени хоста указан домен вашего ресурса. Но этот домен автоматически указывается в имени хоста и для всех естественных рефералов. Таким образом, если вы примените «не глядя» этот фильтр, данные из естественных источников также будут исключены.

Исключение обращений роботов

Исключить Crawler Referrer Spam можно в настройках представления. Последовательность та же:

  1. Войдите в аккаунт Google Analytics.
  2. Перейдите на вкладку «Администратор».
  3. Выберите представление.
  4. Войдите в «Настройки представления».

Как настроить представление Google Analytics 5. Отметьте пункт «Исключение обращений роботов и пауков». Исключение обращений роботов из данных представления Google Analytics Теперь Google Analytics на основании собственного алгоритма будет определять обращения роботов и отсеивать их.

А нужно ли заморачиваться?

Мы решили поинтересоваться у Middle SEO специалиста агентства Netpeak Алексея Данилина о том, как он фильтрует данные по своим проектам. По мнению Алексея, все зависит от ситуации. Прежде чем тратить время на отслеживание спамеров и настройку фильтров, стоит оценить, нужно ли это конкретному проекту. Если спам составляет незначительную часть всей аналитики, или если вам важно отследить отдельную тенденцию среди пользователей (например, распределение мобильных и десктоп посещений) — можно отфильтровать данные, просмотрев это соотношение только для посетителей из органического поиска, или для всех посещений, кроме реферального трафика.

Чтобы избежать путаницы в событиях, можно заранее отнести каждое настроенное событие к отдельной группе, при этом все возможные внешние события будут оставаться в общем списке и никак не попадут в какую-то из групп. Когда вы создаете отдельное представление, безусловно стоит отсеять из статистики обращения роботов и пауков. Настраивать ли дополнительно фильтры от спама — нужно смотреть для каждого проекта индивидуально.

Краткие выводы

Хорошие новости: полную картину по своему сайту видите только вы, никто не имеет доступа в ваш Google Analytics. Плохие новости: отослать ложные данные в ваш GA можно практически всегда. Определить ID — тоже. Хорошие новости: как правило, ID именно Вашего аккаунта никому не нужен. Чаще всего ложные данные попадают в GA после генерации случайных чисел и с целью рекламы другого ресурса. Больше хороших новостей: спам можно исключить из отчетов с помощью фильтров и настроек. Или, если он не мешает жить, можно просто не обращать на него внимания. Остались вопросы? Будем рады ответить на них в комментариях.

Google: объемы использования спам-ссылок увеличиваются

Все, вероятно, знакомы с термином «Спам», который характеризует сотни тысяч нежелательных писем наводнивших Ваш почтовый ящик, с которыми успешно боряться СПАМ фильтры.

Однако, есть и другая форма спама, и все владельцы сайтов должны быть в курсе этого и принимать меры, чтобы избежать попадание под классификацию — веб-спам.

Веб-спам (также называемый поисковым спамом) — это использование специальных фраз для описания веб-страниц, которые призваны обманывать поисковую выдачу в обход стандартным инструментам Google. Страницы, которые используют веб-спам для улучшения результатов поиска страницы (SERP) обычно используют черные СЕО методы, такие как наполнение текста ключевыми словами или клоакинг. Последний включает в свое понятие вводящий в заблуждение редирект и/или использование дорвеев. Эти сайты, как правило, имеют слабое содержание, плохой дизайн и немеряное количество объявлений. Они пытаются манипулировать поисковыми системами и использовать любые лазейки для того, чтобы достичь более высокого рейтинга в поисковой выдаче.

Вообще не похоже на описание Вашего сайта? Не надо раньше времени радоваться, ведь есть много причин по которым сайт может попасть под категорию спама без вашего ведома. Ведь чтоб попасть под спам, совсем не обязательно из «белого» сайта стать «черным», есть много оттенков «серого», попав в которые сайт тоже вылетает из поисковой выдачи а дальше и из Google вообще.

Если у вас есть сомнения по поводу того, рассматривается ваш сат как спам или нет, ниже я привел список с которым стоит ознакомится Вам или тому, кто занимается продвижением сайта в поисковых системах.

Итак — 8 причин, по которым Ваш сайт может попасть в разряд веб-спама:

1) В работе и продвижении сайта не используються социальные медиа
2) Over-оптимизации контента
3) Некачественное содержание
4) Слишком много рекламы на сайте
4) Много 404 ошибок, мертвых внутренних ссылок
5) Низкокачественные беки
6) Деление на много подсайтов
7) Применение черного СЕО

Рассмотрим эти пункты более детально

1) Мало ссылок в социальных сетях, отсутствие социальных виджетов на сайте
Конечно, есть люди, которые занимаются спамом в социальных медиа, но это, как правило, другой тип спамеров — их конечной целью не является поднятие своего сайта выше в результатах поисковой выдачи. Веб-спамерам просто не когда строить отношения с людьми и, таким образом, они редко встречаются в социальных сетях. Для любого СДЛ очень полезно продвижение в социальных сетях, создание группы и привлечение таким образом новых посетителей. Это конечно более долгий, но зато честный способ, который поднимет Вас в глазах Google.

2) Over-оптимизация, или чрезмерное усилие.
Повторное использование ключевых слов в содержании, где они выглядят неестественно, появление слова за словом . после слова (вы понимаете о чем я говорю ).

Это не очень хорошая тактика в любом случае. Чаще всего, повторяющиеся ключевые слова встречаются в следующих областях: заголовках страниц, и в именах доменов / URL-адресов, ну и конечно в тексте, в альтах и тайтлах картинок. Чтобы предотвратить чрезмерное наполнение ключевыми словами, надо следовать рекомендациям поисковиков по оптимизации контента, и стремится писать тексты так же естественно, как если бы вы это рассказывали собеседнику.

3) Низкокачественный контент
Спамеры не заботятся о создании качественного контента, не удосуживаясь даже рерайтить скопипизженные тексты. В 99,9% спам-сайты состоят из украденных текстов независимо от содержания. Будь то статьи или характеристики товара. Этот контент повторяется снова и снова,и способы их получения очень разные — от парсинга через RSS-каналы с других вебсайтов, до создания копий нормальных сайтов, с похожими урлами и добавлением в эти копии кучи рекламы.
Чтоб избежать попадания под этот признак Веб-спама, никогда не берите чужие тексты. Поверьте, экономия на рерайтере может вылиться в более дорогой бан.

4) Перенаполнение сайта рекламными блоками
Спамеры создают сайты, где более 50% контента на любой странице занимает реклама. Ведь основная цель веб-спамеров состоит в том чтобы сделать много денег, при минимальных финансовых и физических затратах. Не рискуйте с множеством рекламы, чтоб не стать похожими на спам сайт. Постарайтесь выделить верхнюю половину ваших веб-страниц под качественный контент. не стоит разбавлять хорошие сайты с качественным контентом низкокачественной, нетематической рекламой. которая не добавляет ценности. Google не является приверженцем чрезмерной рекламы на веб-сайтах, и за это наказывает выбросом таких страниц из поисковой выдачи А если размещаете рекламу, то старайтесь соблюдать ее тематику. Для этого есть инструменты у всех качественных рекламодателей и партнерок.

5) Много мертвых ссылок
Как правило, веб-спамеры, не следят за состоянием своих сайтов, и поэтому много страниц могут иметь мертвые ссылки, неправильные пути и тому подобные


6) Низкокачественные беки

Черные СЕО методы подразумевают закупку множества низкокачественных ссылок, не интересуясь их весом, так как при таком количестве это не реально. При этом эффективность такого способа раскрутки хуже чем покупка нескольких хороших жирных беков. Поисковики очень хорошо научились распознавать покупные ссылки и естественное наращивание ссылочной массы.


7) Разбивка контента на множество сайтов, микроблогов.

Веб-спамерам не выгодно делать один обширный сайт, поэтому они стараются разбить контент на много подсайтов, доменов. Причем этот процесс идет без дальнейшего обслуживания уже созданных проектов. А по мнению поисковиков хороший сайт должен быть сосредоточен на одном домене и информацию делать категориями, чтоб иметь целостную структуру.

8) Черные СЕО методы
Эта тактика включают такие вещи как дорвеи, текст цвет которого соответствует фону страницы (так что человеческий глаз не может выделить его, а поисковые системы индексируют), и использование «левых» ключевых слов только для ранжирования. Скрытый текст, накрученные мета-теги, левые ключевые слова — это все плохо сказывается на результате СЕО манипуляций.

Если вы самостоятельно занимаетесь СЕО оптимизацией, и не знаете что из выбранных способов белое, а что черное — посоветуйтесь с опытными людьми, не пожалейте пару баксов за консультацию и совет. Это вернется сторицей, поверьте.

Я не спамер, так что Google от меня хочет?

Google хочет видеть, что вы пишете качественный контент. Поисковики хотят увидеть уникальный и привлекательный контент наполненный видео, изображениями, характеристиками, таблицами и т.п. Содержание должно быть продуманным, хорошо систематизированным и иметь четкую структуру. делайте сайт не для поисковиков а для людей. Именно такие сайты никогда не попадают в разряд спамеров и высоко ценятся поисковиками.

Если вы подозреваете, что вы были наказаны поисковыми системами за спам поведение, значит вам необходимо проверить несколько вещей:

1) Что вы видите в результатах поиска? Вы можете упростить процесс просто делая поиск по вашему сайту в ПС с помощью следующей команды (search: domain.com). Это даст вам полное понимание как проходит индексация.

2)Проверьте ваши трафик-метрики — объем и источники откуда он приходит. Траффик остался тот же и хоть в небольшой мере увеличивается? Если так, то это хорошо. Однако, если ваш трафик показывает любое внезапное падение — это повод насторожится.

3)Какие типы ссылок ведут на ваш сайт? Это тоже очень важный момент

Ну и в конце концов движение траффика еще не показатель спам-бана. Как правило в выходные дни он падает, кроме того стоит понимать что причиной может стать устаревание контента, потеря актуальности и т.п. Так что для постоянного нахождения в ТОПах, необходимо «находится постоянно в теме», делать редизайны, создавать актуальный контент, и учитывать вышеописанное.

Добавить комментарий