BotFAQtor как избавиться от ботов на сайте


Содержание материала:

Как обнаружить ботов и бороться с ними

Вы сделали лендинг с крутым продуктом. Запустили на него трафик и вот, первые результаты. Более 3 000 показов, но количество кликов по вашей СТА-кнопке стремится к уровню Марианской впадины.

Почему же так вышло?
Возможно, несколько людей по ошибке кликнули и перешли. Несколько, но откуда взялись остальные клики?

Скорее всего вы столкнулись с таким явлением, как бот-трафик. Ведь партнерский маркетинг — это постоянная конкуренция.

— Адверты хотят получить больше денег за счет источников платного трафика и паблишеров;
— Паблишеры занимаются тем же в отношении адвертов и источников трафика;
— Источники платного трафика заинтересованы в заработке на адвертах и паблишерах.

Часто в результате этого противостояния конкуренты используют нечестные методы. В этой статье мы разберем, как бороться с ботами и сохранить бюджет.

О паблишерах
Паблишер — это владелец веб-сайта. Естественно, он хочет получить как можно больше денежных средств с тех, кто покупает рекламу на его ресурсе. Для этого, помимо обычных путей, они прибегают к уловкам.

Веб-мастер пишет скрипт для специального бота, который автоматически будет посещать его сайт. В ходе этого путешествия он скликивает рекламные объявления на ресурсе. После этого, бот уходит со страницы. Источник трафика видит переход и берет оплату за показы рекламы. Далее, источник трафика отдает процент веб-мастеру, а остальное забирает себе. Адверт в проигрыше.

Существуют «хорошие» и «плохие» боты. Более подробно об этом мы расскажем в наших следующих статьях. А пока проверьте, есть ли у вас файл robots.txt. Он не допустит ботов на ваш лендинг.

Как обнаружить ботов и бороться с ними?


CTR

Проверьте свою статистику тщательно. Один из признаков бот-трафика это большое количество трафика при нулевом CTR. Перед этим необходимо изучить свою нишу и узнать оптимальные для нее показатели конверсии.

Также, можно поставить расширенную фильтрацию в Яндекс.Метрике. Это немного упростит задачу по борьбе с ботами.

Ботфактор

TOP 3 сервисов в категории Маркетинг :

Официальный сайт: https://botfaqtor.ru
Специализация: маркетинг
Рейтинг:
LPGenerator 2.42
SpyWords 2.29
Zvonobot 2.00

Сервис по проверке качества интернет-трафика БотФактор начал работу в 2020 году. Является российским представительством голландской компании Witstroom, предлагающей аналогичные услуги зарубежным рекламодателям.

Позволяет с минимальными усилиями достичь сразу несколько целей:
— сбор детальной статистики о трафике на сайте;
— детектирование бот-трафика;
— общее или избирательное блокирование нежелательных заходов на сайт.

На момент написания обзора услуги сервиса полностью бесплатны, но основная схема работы с клиентами предполагает продажу доступа с бесплатным ознакомительным периодом.

Отдельно отметим, что в «БотФактор» удачно объединены система сбора статистики и автоматический блокировщик.

Анализируемый трафик распределяется по категориям, часть которых отображает общие группы роботов (Rookie, Skilled, Expert, Advanced), а другая часть классифицирует его источники (поисковые системы, социальные сети, внутренние переходы и т.д.).

По отзывам пользователей, такое представление данных удобней и быстрее, чем стандартные метрики, предоставляемые другими статистическими сервисами.

Помимо сводного отчёта, представленного на рисунке выше, доступны следующие срезы данных:
— количественное или процентное соотношение между разными категориями трафика;

— распределение по источникам с указанием времени пребывания на сайте;

— группирование по географическому признаку (вплоть до городов);

— отслеживание характеристик трафика по отдельно заданной посадочной странице.

Кроме этого, среди отчётов есть отдельная сводка с разбивкой по типу ботов.

Для детектирования ботов «БотФактор» использует собственную базу сигнатур, разработанную специалистами с большим опытом работы в рекламных сетях.

По утверждению разработчиков, система способна выявлять не только «накрутчики» и «парсеры», но и заходы с интеллектуальных модулей botnet-сетей.

Как начать работу с сервисом БотФактор

Одним из ключевых преимуществ «БотФактор» является простота подключения рабочих скриптов и относительно несложный процесс настройки их рабочих режимов.

Начинать следует с добавления сайта (раздел «Add Site» или «My Sites»).

Обратите внимание, что коды скриптов доступны уже при добавлении сайта, но выполнять подключение на этом этапе не обязательно.

Для настройки режимов работы и генерации скриптов предназначен отдельный раздел – «Install scripts».

Код статистического модуля может сопровождаться визуальным счётчиком. Для активации такого режима работы следует активировать переключатель «Graphics».

Непосредственная интеграция скриптов «БотФактор» с HTML-кодом клиентского сайта производится в два шага:
— установка первого блока кода для загрузки скриптов (сразу после открывающего тега head);
— установка второго блока кода перед закрывающим тегом body.

Отметим, что сайтов может быть несколько и управление скриптами по каждому из них осуществляется отдельно.

После того, как сайты добавлены, можно приступать к настройке режимов блокировки, выполняемой в разделе «Blocking».

Настройка каждого фильтра состоит из следующих шагов:

1.Указание страниц, где будет фильтроваться трафик.
2.Выбор одного или нескольких типов ботов, для которых необходимо закрыть доступ на сайт.
3.Определение источника, трафик с которого должен быть отфильтрован.
4.Определение GEO параметров фильтруемого трафика.

Помимо общего управления скриптами, также возможно избирательное отключение отдельных фильтров.

Защита сайта от нежелательных ботов

Большие сайты с тысячами страниц и интернет-магазины с большим ассортиментом товаров зачастую сталкиваются с проблемой внезапно высокой нагрузки на сервер.

Причиной очень часто становятся не ddos атаки, вирусы или действия хакеров, а обычные роботы малоизвестных поисковых систем или различных сервисов, которые за счет большого количества запросов к сайту в единицу времени приводят к увеличению нагрузки и превышению допустимых на хостинге лимитов.

Замечу, что данная проблема актуальна именно для крупных интернет-магазинов, поскольку, если ваш сайт состоит из 100-500 страниц и менее, то даже средний хостинг справится с такой внезапной нагрузкой без особых проблем. VDS серверы способны выдерживать куда более высокие нагрузки и, как правило, для интернет-магазинов на VDS такая проблема ощутима только в период новогоднего бума или накануне праздников, когда серверы работают на пределе своих возможностей.

Определить причину внезапно высокой нагрузки на сервер порой можно только через анализ логов, но иногда достаточно Яндекс Метрики, которая порой принимает ботов за пользователей.

Признаки появления бота на сайте

  • Большое количество просмотренных страниц в единицу времени
  • Нехарактерная для данного времени и дня недели высокая посещаемость сайта
  • Резкий рост посещаемости пользователей из других стран мира и с необычными для России браузерами
  • Необычно медленная загрузка страниц сайта
  • Долгий ответ сервера
  • Жалобы со стороны хостинга о потреблении сайтом большого кличества ресурсов
  • Однотипное поведение пользователей с многочисленным посещением одной и той же страницы


Примеры нежелательных ботов

Нежелательные боты зачастую это вовсе не боты спамеры или парсеры сайтов. Очень часто эти боты представляют различные сервисы или малоизвестные поисковые системы.

Прямой угрозы они не несут, но из-за неправильной настройки, внутренней ошибки или по каким-либо другим причинам они могут создавать высокую нагрузку на сайт за счет большого количества хитов в единицу времени.

Бот MJ12bot

Поисковый робот сервиса Majestic, которые собирает данные об исходящих ссылках на сайтах. Робот нормально воспринимает канонические страницы, но на сайтах, где канонические урлы отсутствуют, начинает очень сильно «буксовать» на страницах, в урлах которых содержатся параметры.

Бот BLEXBot

Робот BLEXBot Crawler заявлен как робот поисковой системы — какой именно поисковой системы, на официальной странице не уточняется.

Бот AhrefsBot

Этот робот, равно как и MJ12bot, анализирует страницы сайта на наличие внешних ссылок. Сам сайт ahrefs.com предоставляет наплохой профессиональный сервис по оценке и анализу ссылочного.

Бот HubSpot Webcrawler

Это робот поисковой системы сайта amazon.com. На самом «Амазоне» заявлено, что данная платформа создана для компаний, которым нужно привлечь посетителей, т.е. по сути робот является сборщиком контента с интернет-магазинов.

Другие нежелательные боты

Приведенный ниже перечень ботов мной лично не встречался, но вполне возможно, что они ещё существуют:

Aboundex
80legs
360Spider
Java
Cogentbot
Alexibot
asterias
attach
BackDoorBot
BackWeb
Bandit
BatchFTP
Bigfoot
Black.Hole
BlackWidow
BlowFish
BotALot
Buddy
BuiltBotTough
Bullseye
BunnySlippers
Cegbfeieh
CheeseBot
CherryPicker
ChinaClaw
Collector
Copier
CopyRightCheck
cosmos
Crescent
Custo
AIBOT
DISCo
DIIbot
DittoSpyder
Download Demon
Download Devil
Download Wonder
dragonfly
Drip
eCatch
EasyDL
ebingbong
EirGrabber
EmailCollector
EmailSiphon
EmailWolf
EroCrawler
Exabot
Express WebPictures
Extractor
EyeNetIE
Foobot
flunky
FrontPage
Go-Ahead-Got-It
gotit
GrabNet
Grafula
Harvest
hloader
HMView
HTTrack
humanlinks
IlseBot
Image Stripper
Image Sucker
Indy Library
InfoNavibot
InfoTekies
Intelliseek
InterGET
Internet Ninja
Iria
Jakarta
JennyBot
JetCar
JOC
JustView
Jyxobot
Kenjin.Spider
Keyword.Density
larbin
LexiBot
lftp
libWeb/clsHTTP
likse
LinkextractorPro
LinkScan/8.1a.Unix
LNSpiderguy
LinkWalker
lwp-trivial
LWP::Simple
Magnet
Mag-Net
MarkWatch
Mass Downloader
Mata.Hari
Memo
Microsoft.URL
Microsoft URL Control
MIDown tool
MIIxpc
Mirror
Missigua Locator
Mister PiX
moget
Mozilla/3.Mozilla/2.01
Mozilla.*NEWT
NAMEPROTECT
Navroad
NearSite
NetAnts
Netcraft
NetMechanic
NetSpider
Net Vampire
NetZIP
NextGenSearchBot
NG
NICErsPRO
niki-bot
NimbleCrawler
Ninja
NPbot
Octopus
Offline Explorer
Offline Navigator
Openfind
OutfoxBot
PageGrabber
Papa Foto
pavuk
pcBrowser
PHP version tracker
Pockey
ProPowerBot/2.14
ProWebWalker
psbot
Pump
QueryN.Metasearch
RealDownload
Reaper
Recorder
ReGet
RepoMonkey
RMA
Siphon
SiteSnagger
SlySearch
SmartDownload
Snake
Snapbot
Snoopy
sogou
SpaceBison
SpankBot
spanner
Sqworm
Stripper
Sucker
SuperBot
SuperHTTP
Surfbot
suzuran
Szukacz/1.4
tAkeOut
Teleport
Telesoft
TurnitinBot/1.5
The.Intraformant
TheNomad
TightTwatBot
Titan
True_bot
turingos
TurnitinBot
URLy.Warning
Vacuum
VCI
VoidEYE
Web Image Collector
Web Sucker
WebAuto
WebBandit
Webclipping.com
WebCopier
WebEMailExtrac.*» bot
WebEnhancer
WebFetch
WebGo IS
Web.Image.Collector
WebLeacher
WebmasterWorldForumBot
WebReaper
WebSauger
Website eXtractor
Website Quester
Webster
WebStripper
WebWhacker
WebZIP
Whacker
Widow
WISENutbot
WWWOFFLE
WWW-Collector-E
Xaldon
Xenu
Zeus
ZmEu
Zyborg
AhrefsBot
archive.org_bot
bingbot
Wget
Acunetix
FHscan

Ограничение активности ботов с использованием robots.txt

Универсальное решение заключается в том, чтобы через дерективу Crawl-delay в файле robots.txt ограничить количество запросов. Численное значение указывает паузу в секундах между обращениями к сайту.

Типовой пример, подходящий для большинства сайтов

User-agent: *
Crawl-delay: 10

10 секунд более чем достаточно, чтобы лимитировать нарузку на сайт роботов поисковых машин.

Впрочем, некоторые нежелательные боты игнорируют данную директиву и даже прямой запрет доступа через robots.txt не спасает от высокой нагрузки.

User-agent: MJ12bot
Disallow: /

В таких случаях остается только вариант блокирования доступа к сайта по ip адресам, откуда идут запросы, или по User-agent.

Второй вариант является более предпочтительным, поскольку при блокировании доступа по ip, сайт становится недоступен для всех устройств, в том числе и для обычных пользователей.

Блокирование ботов по User-agent через .htaccess файл

Подавляющее большинство сайтов работает на linux платформе, где роль веб-сервера выполняет Apache сервер. Веб-сервер обрабатывает запросы пользователей и отдает страницы сайта.

Для блокирования доступа по User-agent необходимо в корень сайта добавить файл .htaccess (если его там ещё нет) и дописать следующие строки.

SetEnvIfNoCase User-Agent «Aboundex» bot
SetEnvIfNoCase User-Agent «80legs» bot
SetEnvIfNoCase User-Agent «360Spider» bot
SetEnvIfNoCase User-Agent «^Java» bot
SetEnvIfNoCase User-Agent «^Cogentbot» bot
SetEnvIfNoCase User-Agent «^Alexibot» bot
SetEnvIfNoCase User-Agent «^asterias» bot
SetEnvIfNoCase User-Agent «^attach» bot
SetEnvIfNoCase User-Agent «^BackDoorBot» bot
SetEnvIfNoCase User-Agent «^BackWeb» bot
SetEnvIfNoCase User-Agent «Bandit» bot
SetEnvIfNoCase User-Agent «^BatchFTP» bot
SetEnvIfNoCase User-Agent «^Bigfoot» bot
SetEnvIfNoCase User-Agent «^Black.Hole» bot
SetEnvIfNoCase User-Agent «^BlackWidow» bot
SetEnvIfNoCase User-Agent «^BlowFish» bot
SetEnvIfNoCase User-Agent «^BotALot» bot
SetEnvIfNoCase User-Agent «Buddy» bot
SetEnvIfNoCase User-Agent «^BuiltBotTough» bot
SetEnvIfNoCase User-Agent «^Bullseye» bot
SetEnvIfNoCase User-Agent «^BunnySlippers» bot
SetEnvIfNoCase User-Agent «^Cegbfeieh» bot
SetEnvIfNoCase User-Agent «^CheeseBot» bot
SetEnvIfNoCase User-Agent «^CherryPicker» bot
SetEnvIfNoCase User-Agent «^ChinaClaw» bot
SetEnvIfNoCase User-Agent «Collector» bot
SetEnvIfNoCase User-Agent «Copier» bot
SetEnvIfNoCase User-Agent «^CopyRightCheck» bot
SetEnvIfNoCase User-Agent «^cosmos» bot
SetEnvIfNoCase User-Agent «^Crescent» bot
SetEnvIfNoCase User-Agent «^Custo» bot
SetEnvIfNoCase User-Agent «^AIBOT» bot
SetEnvIfNoCase User-Agent «^DISCo» bot
SetEnvIfNoCase User-Agent «^DIIbot» bot
SetEnvIfNoCase User-Agent «^DittoSpyder» bot
SetEnvIfNoCase User-Agent «^Download\ Demon» bot
SetEnvIfNoCase User-Agent «^Download\ Devil» bot
SetEnvIfNoCase User-Agent «^Download\ Wonder» bot
SetEnvIfNoCase User-Agent «^dragonfly» bot
SetEnvIfNoCase User-Agent «^Drip» bot
SetEnvIfNoCase User-Agent «^eCatch» bot
SetEnvIfNoCase User-Agent «^EasyDL» bot
SetEnvIfNoCase User-Agent «^ebingbong» bot
SetEnvIfNoCase User-Agent «^EirGrabber» bot
SetEnvIfNoCase User-Agent «^EmailCollector» bot
SetEnvIfNoCase User-Agent «^EmailSiphon» bot
SetEnvIfNoCase User-Agent «^EmailWolf» bot
SetEnvIfNoCase User-Agent «^EroCrawler» bot
SetEnvIfNoCase User-Agent «^Exabot» bot
SetEnvIfNoCase User-Agent «^Express\ WebPictures» bot
SetEnvIfNoCase User-Agent «Extractor» bot
SetEnvIfNoCase User-Agent «^EyeNetIE» bot
SetEnvIfNoCase User-Agent «^Foobot» bot
SetEnvIfNoCase User-Agent «^flunky» bot
SetEnvIfNoCase User-Agent «^FrontPage» bot
SetEnvIfNoCase User-Agent «^Go-Ahead-Got-It» bot
SetEnvIfNoCase User-Agent «^gotit» bot
SetEnvIfNoCase User-Agent «^GrabNet» bot
SetEnvIfNoCase User-Agent «^Grafula» bot
SetEnvIfNoCase User-Agent «^Harvest» bot
SetEnvIfNoCase User-Agent «^hloader» bot
SetEnvIfNoCase User-Agent «^HMView» bot
SetEnvIfNoCase User-Agent «^HTTrack» bot
SetEnvIfNoCase User-Agent «^humanlinks» bot
SetEnvIfNoCase User-Agent «^IlseBot» bot
SetEnvIfNoCase User-Agent «^Image\ Stripper» bot
SetEnvIfNoCase User-Agent «^Image\ Sucker» bot
SetEnvIfNoCase User-Agent «Indy\ Library» bot
SetEnvIfNoCase User-Agent «^InfoNavibot» bot
SetEnvIfNoCase User-Agent «^InfoTekies» bot
SetEnvIfNoCase User-Agent «^Intelliseek» bot
SetEnvIfNoCase User-Agent «^InterGET» bot
SetEnvIfNoCase User-Agent «^Internet\ Ninja» bot
SetEnvIfNoCase User-Agent «^Iria» bot
SetEnvIfNoCase User-Agent «^Jakarta» bot
SetEnvIfNoCase User-Agent «^JennyBot» bot
SetEnvIfNoCase User-Agent «^JetCar» bot
SetEnvIfNoCase User-Agent «^JOC» bot
SetEnvIfNoCase User-Agent «^JustView» bot
SetEnvIfNoCase User-Agent «^Jyxobot» bot
SetEnvIfNoCase User-Agent «^Kenjin.Spider» bot
SetEnvIfNoCase User-Agent «^Keyword.Density» bot
SetEnvIfNoCase User-Agent «^larbin» bot
SetEnvIfNoCase User-Agent «^LexiBot» bot
SetEnvIfNoCase User-Agent «^lftp» bot
SetEnvIfNoCase User-Agent «^libWeb/clsHTTP» bot
SetEnvIfNoCase User-Agent «^likse» bot
SetEnvIfNoCase User-Agent «^LinkextractorPro» bot
SetEnvIfNoCase User-Agent «^LinkScan/8.1a.Unix» bot
SetEnvIfNoCase User-Agent «^LNSpiderguy» bot
SetEnvIfNoCase User-Agent «^LinkWalker» bot
SetEnvIfNoCase User-Agent «^lwp-trivial» bot
SetEnvIfNoCase User-Agent «^LWP::Simple» bot
SetEnvIfNoCase User-Agent «^Magnet» bot
SetEnvIfNoCase User-Agent «^Mag-Net» bot
SetEnvIfNoCase User-Agent «^MarkWatch» bot
SetEnvIfNoCase User-Agent «^Mass\ Downloader» bot
SetEnvIfNoCase User-Agent «^Mata.Hari» bot
SetEnvIfNoCase User-Agent «^Memo» bot
SetEnvIfNoCase User-Agent «^Microsoft.URL» bot
SetEnvIfNoCase User-Agent «^Microsoft\ URL\ Control» bot
SetEnvIfNoCase User-Agent «^MIDown\ tool» bot
SetEnvIfNoCase User-Agent «^MIIxpc» bot
SetEnvIfNoCase User-Agent «^Mirror» bot
SetEnvIfNoCase User-Agent «^Missigua\ Locator» bot
SetEnvIfNoCase User-Agent «^Mister\ PiX» bot
SetEnvIfNoCase User-Agent «^moget» bot
SetEnvIfNoCase User-Agent «^Mozilla/3.Mozilla/2.01» bot
SetEnvIfNoCase User-Agent «^Mozilla.*NEWT» bot
SetEnvIfNoCase User-Agent «^NAMEPROTECT» bot
SetEnvIfNoCase User-Agent «^Navroad» bot
SetEnvIfNoCase User-Agent «^NearSite» bot
SetEnvIfNoCase User-Agent «^NetAnts» bot
SetEnvIfNoCase User-Agent «^Netcraft» bot
SetEnvIfNoCase User-Agent «^NetMechanic» bot
SetEnvIfNoCase User-Agent «^NetSpider» bot
SetEnvIfNoCase User-Agent «^Net\ Vampire» bot
SetEnvIfNoCase User-Agent «^NetZIP» bot
SetEnvIfNoCase User-Agent «^NextGenSearchBot» bot
SetEnvIfNoCase User-Agent «^NG» bot
SetEnvIfNoCase User-Agent «^NICErsPRO» bot
SetEnvIfNoCase User-Agent «^niki-bot» bot
SetEnvIfNoCase User-Agent «^NimbleCrawler» bot
SetEnvIfNoCase User-Agent «^Ninja» bot
SetEnvIfNoCase User-Agent «^NPbot» bot
SetEnvIfNoCase User-Agent «^Octopus» bot
SetEnvIfNoCase User-Agent «^Offline\ Explorer» bot
SetEnvIfNoCase User-Agent «^Offline\ Navigator» bot
SetEnvIfNoCase User-Agent «^Openfind» bot
SetEnvIfNoCase User-Agent «^OutfoxBot» bot
SetEnvIfNoCase User-Agent «^PageGrabber» bot
SetEnvIfNoCase User-Agent «^Papa\ Foto» bot
SetEnvIfNoCase User-Agent «^pavuk» bot
SetEnvIfNoCase User-Agent «^pcBrowser» bot
SetEnvIfNoCase User-Agent «^PHP\ version\ tracker» bot
SetEnvIfNoCase User-Agent «^Pockey» bot
SetEnvIfNoCase User-Agent «^ProPowerBot/2.14» bot
SetEnvIfNoCase User-Agent «^ProWebWalker» bot
SetEnvIfNoCase User-Agent «^psbot» bot
SetEnvIfNoCase User-Agent «^Pump» bot
SetEnvIfNoCase User-Agent «^QueryN.Metasearch» bot
SetEnvIfNoCase User-Agent «^RealDownload» bot
SetEnvIfNoCase User-Agent «Reaper» bot
SetEnvIfNoCase User-Agent «Recorder» bot
SetEnvIfNoCase User-Agent «^ReGet» bot
SetEnvIfNoCase User-Agent «^RepoMonkey» bot
SetEnvIfNoCase User-Agent «^RMA» bot
SetEnvIfNoCase User-Agent «Siphon» bot
SetEnvIfNoCase User-Agent «^SiteSnagger» bot
SetEnvIfNoCase User-Agent «^SlySearch» bot
SetEnvIfNoCase User-Agent «^SmartDownload» bot
SetEnvIfNoCase User-Agent «^Snake» bot
SetEnvIfNoCase User-Agent «^Snapbot» bot
SetEnvIfNoCase User-Agent «^Snoopy» bot
SetEnvIfNoCase User-Agent «^sogou» bot
SetEnvIfNoCase User-Agent «^SpaceBison» bot
SetEnvIfNoCase User-Agent «^SpankBot» bot
SetEnvIfNoCase User-Agent «^spanner» bot
SetEnvIfNoCase User-Agent «^Sqworm» bot
SetEnvIfNoCase User-Agent «Stripper» bot
SetEnvIfNoCase User-Agent «Sucker» bot
SetEnvIfNoCase User-Agent «^SuperBot» bot
SetEnvIfNoCase User-Agent «^SuperHTTP» bot
SetEnvIfNoCase User-Agent «^Surfbot» bot
SetEnvIfNoCase User-Agent «^suzuran» bot
SetEnvIfNoCase User-Agent «^Szukacz/1.4» bot
SetEnvIfNoCase User-Agent «^tAkeOut» bot
SetEnvIfNoCase User-Agent «^Teleport» bot
SetEnvIfNoCase User-Agent «^Telesoft» bot
SetEnvIfNoCase User-Agent «^TurnitinBot/1.5» bot
SetEnvIfNoCase User-Agent «^The.Intraformant» bot
SetEnvIfNoCase User-Agent «^TheNomad» bot
SetEnvIfNoCase User-Agent «^TightTwatBot» bot
SetEnvIfNoCase User-Agent «^Titan» bot
SetEnvIfNoCase User-Agent «^True_bot» bot
SetEnvIfNoCase User-Agent «^turingos» bot
SetEnvIfNoCase User-Agent «^TurnitinBot» bot
SetEnvIfNoCase User-Agent «^URLy.Warning» bot
SetEnvIfNoCase User-Agent «^Vacuum» bot
SetEnvIfNoCase User-Agent «^VCI» bot
SetEnvIfNoCase User-Agent «^VoidEYE» bot
SetEnvIfNoCase User-Agent «^Web\ Image\ Collector» bot
SetEnvIfNoCase User-Agent «^Web\ Sucker» bot
SetEnvIfNoCase User-Agent «^WebAuto» bot
SetEnvIfNoCase User-Agent «^WebBandit» bot
SetEnvIfNoCase User-Agent «^Webclipping.com» bot
SetEnvIfNoCase User-Agent «^WebCopier» bot
SetEnvIfNoCase User-Agent «^WebEMailExtrac.*» bot
SetEnvIfNoCase User-Agent «^WebEnhancer» bot
SetEnvIfNoCase User-Agent «^WebFetch» bot
SetEnvIfNoCase User-Agent «^WebGo\ IS» bot
SetEnvIfNoCase User-Agent «^Web.Image.Collector» bot
SetEnvIfNoCase User-Agent «^WebLeacher» bot
SetEnvIfNoCase User-Agent «^WebmasterWorldForumBot» bot
SetEnvIfNoCase User-Agent «^WebReaper» bot
SetEnvIfNoCase User-Agent «^WebSauger» bot
SetEnvIfNoCase User-Agent «^Website\ eXtractor» bot
SetEnvIfNoCase User-Agent «^Website\ Quester» bot
SetEnvIfNoCase User-Agent «^Webster» bot
SetEnvIfNoCase User-Agent «^WebStripper» bot
SetEnvIfNoCase User-Agent «^WebWhacker» bot
SetEnvIfNoCase User-Agent «^WebZIP» bot
SetEnvIfNoCase User-Agent «Whacker» bot
SetEnvIfNoCase User-Agent «^Widow» bot
SetEnvIfNoCase User-Agent «^WISENutbot» bot
SetEnvIfNoCase User-Agent «^WWWOFFLE» bot
SetEnvIfNoCase User-Agent «^WWW-Collector-E» bot
SetEnvIfNoCase User-Agent «^Xaldon» bot
SetEnvIfNoCase User-Agent «^Xenu» bot
SetEnvIfNoCase User-Agent «^Zeus» bot
SetEnvIfNoCase User-Agent «ZmEu» bot
SetEnvIfNoCase User-Agent «^Zyborg» bot
SetEnvIfNoCase User-Agent «AhrefsBot» bot
SetEnvIfNoCase User-Agent «HubSpot» bot
SetEnvIfNoCase User-Agent «BLEXBot» bot
SetEnvIfNoCase User-Agent «archive.org_bot» bot
SetEnvIfNoCase User-Agent «bingbot» bot
SetEnvIfNoCase User-Agent «^Wget» bot
Deny from env=bot

Понятно, что можно использовать данный перечень в исходном виде, а можно оставить в списке только тех нежелательных ботов, которые действительно создавали в прошлом и создают высокую нагрузку на ваш сайт на данный момент.

Компьютерная программа Botfaqtor.ru — отзыв

Botfaqtor — это сервис с Большой голландской буквы

Наверное, в 2020 году, уже нет необходимости упоминать о том, почему бороться с bad-ботами в интернете нужно и важно.

Помню свою первую, напрочь скликанную рекламную компанию в Яндексе: 100% отказов, 1-3 секунды посещения от каждого «пользователя», не говоря уже о том, что 50% заходов на мой лэндинг совершили «жители» Казахстана (при том, что услуги рекламировались в Московской области). Только спустя время, набравшись опыта — осознал, что эти «пользователи и жители» были ботами.

«Бот-фактор» — это русскоязычный сервис и компания, которой принадлежат эксклюзивные права дистрибуции от голландской платформы Witstroom.

Данный сервис позволяет блокировать всех известных ботов, любой сложности, подразделяя их на 5 категорий.

У моих интернет-проектов не было серьезных проблем с ботами (по мелочи как у всех: 3-5 случайных ботов в месяц, зачем-то заходят на сайт, но особого вреда не доставляют). Но я не смог пройти мимо этой программы, тем более есть с чем сравнивать. До появления БФ в России уже были попытки создания похожих сервисов, и все они провалились: один загнулся так и оставшись стартапом, несмотря на хороший PR, другой попался на собственной же накрутке ботов!

«Бот-фактор» — это совсем другая история.

Прежде всего, отмечаем европейское качество сервиса:

1) Современная аналитика без лишней информации, выполнена в диаграммах. Конструктор отчетов — очень функционален. Можно выстраивать данные в любых разрезах, которые только можно придумать. Есть пространство для творчества.

2) Одно из самых главных качеств программы: трафик сканируется отовсюду, буквально — вам будет показано даже название мобильного приложения, с которого заходил пользователь. Поиск Google, Яндекс, Вконтакте и другие площадки легко попадают в аналитику.

Большой плюс: сканирование трафика начинается сразу после установки скрипта (например, даже для google analytics нужны сутки).

Соответственно, программа анализирует посещения как живых пользователей, так и ботов («bots, users»)

3) Установка скрипта — это то, что делает БФ доступным для народа.

Уверен, что если бы у меня и не было опыта работы с html-кодом, я бы установил всё самостоятельно и быстро. В данном примере, устанавливал код на WIX — просто зайдя и сохранив в разделе «Вставка кода», фирменный скрипт.

4) Стоит отменить, режим «блокировки» бота. Он понадобится вам, в том случае если на ваш сайт боты всё-таки зашли/или уже беспокоили раньше. Конструктор блокировки позволяет настраивать данные так, как вам захочется — вплоть до того, чтобы заблокировать только бота-спамера из определенной группы в ВК, в определенном городе, а остальных ботов — допустим, оставить.

1. Функциональностью сервиса, я остался в наивысшей степени доволен. Прямо скажу, с «Бот-фактор» я чувствую, что мой сайт защищен.

2. После интеграции своего сайта в программу, я получил оперативную и визуально понятную аналитику посещений, которую можно использовать даже вместо Google.

3. Первый посетитель был зафиксирован системой спустя 30 минут (реальный клиент), и так далее. Но ботов я у себя на сайте, за целую неделю, так и не обнаружил. Кроме одного бота — которого запустил сам, чтобы проверить, поймает ли его система, а также было крайне интересно, под какую из пяти категорий он попадёт.

Вердикт: бот был зафиксирован сразу после визита, и получил категорию «Normal» (самый глупый бот).

Итог: я надеюсь, что не мои, не ваши, ни сайты моих коллег, никогда не станут посещать плохие боты. Сервис «Бот-фактор» очень полезный, хочется пожелать ему успехов.

Пожелание: сделать разработчикам e-mail-оповещение, когда на мой сайт боты всё-таки придут. Сейчас такой функции я не нашел, каждый день на сервис заходить не буду — а вот держать руку на пульсе, таким образом, было бы отлично.

Как защититься от спам-ботов

Время чтения: 6 минут Нет времени читать? Нет времени?

Представьте ситуацию: вы открываете отчеты Google Analytics и видите рост реферального трафика. Отлично, думаете вы, появились какие-то жирные внешние ссылки, по которым народ приходит на сайт табунами. Однако анализ показывает, что 90 % реферального трафика идет с какого-то сомнительного ресурса. Более того, под вашими публикациями ежедневно появляются невнятные комментарии в стиле «классная тема, а я вот тут недавно скачал что-то классное и бесплатное». Естественно, комментаторы ссылаются на это самое классное и бесплатное. Похоже, на ваш сайт приходят спам-боты. Как от них защититься и зачем это делать?

Зачем блокировать и фильтровать спамеров

Столкнувшись со спам-ботами, многие веб-мастера ограничиваются премодерацией комментариев. Этого мало по трем причинам. Во-первых, если спамеры активно посещают ваш сайт, это искажает аналитические данные. Несколько сотен или даже десятков визитов спам-ботов в месяц делают некорректной статистику о реферальных переходах, а также поведенческие метрики.


Во-вторых, массовые нашествия ботов создают лишнюю нагрузку на сервер. Если речь идет об одном-двух визитах в сутки, скорее всего, вы не заметите проблем. А если визиты исчисляются десятками в день, ваши реальные посетители могут заметить падение скорости загрузки страниц. Как вы знаете, это большая проблема. Наконец, боты могут не просто оставлять комментарии. Некоторые программы ищут уязвимости в вашем движке или пытаются получить доступ к серверу.

Как защититься от спам-ботов

Вы можете воспользоваться тремя способами защиты от спамеров. Первый можно считать самым радикальным и опасным. Второй и третий — это мягкие способы защиты. Для повышения эффективности их можно использовать одновременно.

1. Заблокируйте спам-ботов с помощью файла .htaccess

Как отмечалось выше, это самый радикальный способ борьбы со спамерами и любыми другими нежелательными посетителями. Настроив файл .htaccess, вы запрещаете вход на сайт пользователям, приходящим с указанных вами IP-адресов. Главное достоинство этого метода — вы защищаете сайт от попыток взлома, сервер от ненужной нагрузки, пользователей от спама, а статистические данные от искажения.

Однако блокировка с помощью файла .htaccess имеет и недостатки. Во-первых, спамеры могут легко менять IP-адреса. Во-вторых, вы можете закрыть сайт для нормальных посетителей, которые имеют одинаковый со спамерами «айпишник». Если это вас не пугает, тогда приступайте:

  • Найдите в корневой директории сайта файл .htaccess. Доступ к корневому каталогу обычно осуществляется через FTP в кабинете настроек хостинга.
  • Если соответствующий файл отсутствует, создайте его самостоятельно. Для этого откройте блокнот, создайте файл htaccess.txt, загрузите его в корневую директорию и переименуйте в .htaccess.
  • Чтобы заблокировать спамеров, сделайте в файле следующую запись:

Вместо звездочек поставьте IP-адреса, которые вы хотите заблокировать. Скорее всего вам придется постоянно добавлять в список запрещенных новые «айпишники».

2. Настройте фильтры Google Analytics

Этот способ решает единственную задачу: защищает статистические данные от искажения. При этом спам-боты продолжают ходить на ваш сайт, оставляют комментарии, создают нагрузку на сервер и, возможно, пытаются получить доступ к управлению ресурсом.

Чтобы исключить данные о действиях ботов на сайте, вам необходимо создать новый фильтр. Придерживайтесь следующего алгоритма действий:

  • Выберите опцию «Администратор» в горизонтальном меню.
  • В правой колонке выберите меню «Фильтры» и нажмите кнопку «Новый фильтр».
  • Воспользуйтесь встроенным фильтром, чтобы заблокировать нежелательные IP-адреса. Для этого в меню «Выберите тип фильтра» укажите «Исключить», в меню «Выберите источник или цель» укажите опцию «Трафик с IP-адресов», в меню «Выберите выражения» укажите опцию «Идентичные». В поле «IP-адрес» укажите адреса, которые необходимо заблокировать. Сохраните настройки.

Также вы можете исключить данные о посещениях из определенных стран, регионов и городов. Для этого выберите соответствующую опцию с помощью выпадающего меню «Поле фильтра».

Также в меню «Настройки представления» подтвердите опцию «Фильтрация роботов». Дефолтный фильтр Google Analytics может исключить посещения некоторых роботов из отчетов.

3. Используйте возможности CMS и дополнительные плагины

Этот метод защищает пользователей от спам-комментариев, а ваш сайт от попыток взлома. Выбирайте конкретные инструменты в зависимости от движка, на котором работает ваш ресурс. В число универсальных инструментов входят следующие:

  • Ручная премодерация комментариев.
  • Капча.
  • Защита админпанели сайта от брутфорсинга. Если ваш сайт работает на WordPress, эта задача решается с помощью плагина Limit Login Attempts.
  • Блокировка спам-комментаторов по IP, использованию спам-слов, электронным адресам. Рекомендации для ресурса на WordPress: в админпанели выберите меню «Настройки — обсуждения». В поле «Черный список» внесите нежелательные «айпишники», электронные адреса, спам-слова. Эту задачу также можно решить с помощью плагина WP-Ban.
  • Антиспам-плагины. Эти программы определяют спамеров алгоритмически. В число наиболее популярных плагинов для WordPress входят Akismet, Anti-Spam, Invisible Captcha, Antispam Bee.

Обратите внимание, антиспам-плагины и премодерация комментариев ухудшают пользовательский опыт. Поэтому используйте их, если спамеры действительно оставляют много комментариев на вашем сайте.

Какую тактику защиты от спам-ботов выбрать

Если спамеры досаждают вам дурацкой рекламой волшебных пилюль или файлообменников, боритесь с ними с помощью плагинов и программ. Так вы заблокируете большинство автоматических сообщений. Для борьбы с ручным спам-комментированием придется использовать премодерацию. Чтобы очистить статистические данные, настройте фильтры в Google Analytics. А если вы подозреваете, что к вашему сайту целенаправленно пытаются получить доступ злоумышленники, блокируйте подозрительные IP с помощью файла .htaccess. Также вы можете использовать программные средства защиты от взлома. Не забудьте сообщить о попытках несанкционированного доступа к сайту хостинг-провайдеру.

Семь угроз от ботов вашему сайту

DDoS-атаки остаются одной из наиболее обсуждаемых тем в сфере информационной безопасности. При этом далеко не все знают, что ботовый трафик, который и является инструментом для таких атак, влечет множество других опасностей для онлайн-бизнеса. С помощью ботов злоумышленники могут не только вывести сайт из строя, но и украсть данные, исказить бизнес-метрики, увеличить рекламные расходы, испортить репутацию площадки. Разберем угрозы более детально, а также напомним про базовые способы защиты.

Парсинг

Боты парсят (то есть собирают) данные на сторонних сайтах постоянно. Они крадут контент, чтобы потом публиковать его без ссылок на источник. При этом размещение скопированного контента на сторонних площадках опускает ресурс-источник в поисковой выдаче, что означает сокращение аудитории, продаж и рекламных доходов сайта. Боты также отслеживают цены, чтобы продавать товары дешевле и уводить клиентов. Покупают различные вещи, чтобы перепродать дороже. Могут создавать ложные заказы, чтобы загрузить логистические ресурсы и сделать товары недоступными для пользователей.

Парсинг значительно сказывается на работе онлайн-магазинов, особенно тех, у кого основной трафик поступает с площадок-агрегаторов. Злоумышленники после парсинга цен устанавливают стоимость товара незначительно ниже исходной, и это позволяет им заметно подняться в поисковой выдаче. Туристические порталы тоже часто подвергаются ботовым атакам: у них крадут сведения о билетах, турах и гостиницах.

В общем, мораль проста: если на вашем ресурсе есть уникальный контент, боты уже выехали к вам.

Заметить парсинг можно по внезапным всплескам трафика, а также отслеживая ценовую политику конкурентов. Если другие сайты мгновенно копируют у себя ваши изменения в стоимости — значит, тут скорее всего замешаны боты.

Накрутки

Накрутки показателей — это сопутствующий эффект от присутствия ботов на сайте. Каждое действие ботов отражается на бизнес-метриках. Поскольку доля нелегитимного трафика ощутима, решения, основанные на аналитике ресурса, часто бывают ошибочными.

Маркетологи изучают, как посетители используют ресурс и делают покупки. Смотрят на показатель конверсии и лиды и определяют ключевые воронки продаж. Компании также проводят A/B тесты и в зависимости от результатов пишут стратегии для работы сайта. Боты же влияют на все эти показатели, что ведет к нерациональным решениям и излишним маркетинговым затратам.
Злоумышленники могут использовать ботов и для того, чтобы повлиять на репутацию площадок, в том числе соцсетей. Такая же ситуация и с сайтами для онлайн-голосований, где боты часто накручивают показатели, чтобы победил нужный злоумышленникам вариант.

Как можно обнаружить накрутки:

  • Проверяйте аналитику. Резкий и неожиданный рост какого-либо показателя, например, попыток логина, часто означает ботовую атаку.
  • Отслеживайте изменения в происхождении трафика. Бывает, что на сайт приходит необычно большое количество запросов из необычных стран — это странно, если вы не таргетировали на них кампании.

DDoS-атаки

Многие слышали о DDoS-атаках или даже сталкивались с ними. Стоит отметить, что ресурс не всегда выводится из строя с помощью высокого трафика. Атаки на API часто низкочастотны, и в то время как приложение отказывает, firewall и балансировщик нагрузки работают как ни в чем не бывало.

Утроение трафика на главную страницу может никак не сказаться на работоспособности сайта, но такая же нагрузка напрямую на страницу с корзиной приводит к проблемам, поскольку приложение начинает посылать множественные запросы ко всем компонентам, задействованным в транзакциях.

Как обнаружить атаки (первые два пункта могут показаться очевидными, но не стоит ими пренебрегать):

  • Покупатели жалуются, что сайт не работает.
  • Сайт или отдельные страницы работают медленно.
  • Резко растет трафик на отдельных страницах, появляется большое количество запросов в корзину или на страницу оплаты.

Взлом личных кабинетов

BruteForce, или перебор паролей, организуется с помощью ботов. Для взлома используются утекшие базы данных. В среднем, пользователи придумывают не более пяти вариантов паролей для всех онлайн-аккаунтов — и варианты легко подбираются ботами, которые проверяют миллионы комбинаций в кратчайшее время. Затем злоумышленники могут перепродать актуальные комбинации логинов и паролей.

Также хакеры могут завладеть личными кабинетами и затем использовать их в своих интересах. Например, вывести накопленные бонусы, украсть купленные билеты на мероприятия — в общем, вариантов дальнейших действий множество.

Распознать BruteForce не слишком сложно: о том, что хакеры пытаются взломать аккаунт, говорит необычно высокое количество неуспешных попыток логина. Хотя бывает, что злоумышленники отправляют и небольшое количество запросов.


Скликивание

Скликивание рекламных объявлений ботами может привести к значительным убыткам компаний, если его не заметить. Во время атаки боты переходят по размещенным на сайте объявлениям и тем самым ощутимо влияют на метрики.

Рекламодатели, очевидно, рассчитывают, что размещенные на площадках баннеры и видеоролики увидят реальные пользователи. Но поскольку число показов ограничено, реклама, из-за ботов, демонстрируется все меньшему числу людей.

Сами же сайты хотят за счет показов рекламы увеличить свою прибыль. А рекламодатели, если видят ботовый трафик, снижают объем размещений на площадке, что ведет и к убыткам, и к ухудшению репутации площадки.

Эксперты выделяют следующие типы рекламного фрода:

  • Ложные просмотры. Боты посещают множество страниц сайта и генерируют нелегитимные просмотры рекламы.
  • Кликфрод. Боты переходят по рекламным ссылкам в поиске, что ведет к росту расходов на поисковую рекламу.
  • Ретаргетинг. Боты перед скликиванием посещают множество легитимных площадок, чтобы создать cookie-файл, который стоит дороже для рекламодателей.

Как обнаружить скликивание? Обычно после очистки трафика от фрода показатель конверсии снижается. Если вы видите, что объем переходов по баннерам выше ожидаемого, то это говорит о присутствии ботов на сайте. Другими показателями нелегитимного трафика могут быть:

  • Рост кликов по рекламным объявлениям при минимальной конверсии.
  • Конверсия снижается, хотя содержание рекламы не менялось.
  • Множественные клики с одного IP-адреса.
  • Низкая доля вовлечения пользователей (в том числе большое количество отказов) при росте кликов.

Поиск уязвимостей

Тестирование на уязвимости выполняется автоматическими программами, которые ищут слабые места сайта и API. Среди популярных инструментов — Metasploit, Burp Suite, Grendel Scan и Nmap. Сканировать сайт могут как специально нанятые компанией сервисы, так и злоумышленники. Площадки договариваются со специалистами по взлому, чтобы проверить свою защиту. IP-адреса аудиторов в таком случае заносятся в white-листы.

Злоумышленники же тестируют сайты без предварительной договоренности. В дальнейшем хакеры используют результаты проверок для своих целей: к примеру, они могут перепродать информацию о слабых местах площадки. Бывает, что ресурсы сканируются не целенаправленно, а в рамках эксплуатирования уязвимости сторонних ресурсов. Возьмем WordPress: если в какой-либо версии обнаружен баг, боты ищут все площадки, которые используют эту версию. Если ваш ресурс попал в такой список, можно ждать визита хакеров.

Как обнаружить ботов?

Для поиска слабых мест сайта злоумышленники сначала проводят разведку, что ведет к росту подозрительной активности на площадке. Фильтрация ботов на этом этапе поможет избежать последующих атак. Хотя ботов и сложно обнаружить, тревожным сигналом могут стать отправляемые с одного IP-адреса запросы ко всем страницам сайта. Стоит обратить внимание и на рост запросов к несуществующим страницам.

Боты могут заполнять формы сайта «мусорным» контентом без вашего ведома. Спамеры оставляют комментарии и отзывы, создают фейковые регистрации и заказы. Классический метод борьбы с ботами, CAPTCHA, в этом случае неэффективен, поскольку раздражает реальных пользователей. К тому же, боты научились обходить такие инструменты.

Чаще всего спам безвреден, однако бывает, что боты предлагают сомнительные услуги: размещают объявления о продаже поддельных вещей и лекарств, продвигают ссылки на порносайты и уводят пользователей на мошеннические ресурсы.

Как обнаружить ботов-спамеров:

  • Если на вашем сайте появился спам, то скорее всего его собственно боты и размещают.
  • В вашей почтовой рассылке много недействительных адресов. Боты часто оставляют несуществующие е-мейлы.
  • Ваши партнеры и рекламодатели жалуются, что с вашего сайта приходят спам-лиды.

Из этой статьи может показаться, что бороться с ботами своими силами сложно. На самом деле, так оно и есть, и лучше доверить защиту сайта профессионалам. Даже крупные компании часто не в силах самостоятельно отслеживать нелегитимный трафик и тем более фильтровать его, поскольку это требует значительной экспертизы и больших расходов на IT-команду.

Variti защищает сайты и API от всех видов ботовых атак, включая фрод, DDoS, скликивание и парсинг. Собственная технология Active Bot Protection позволяет без CAPTCHA и блокировки IP-адресов выявлять и отсекать ботов.

Сервис botfaqtor — есть ли альтернатива, и продолжать ли работу с поставщиком трафика

Здравствуйте, уважаемые коллеги.
Нет так давно, инте Гбгрировали на сайт интернет-магазина Ботфактор сервис, который отвечает за. Так скажем, проверку трафика — показывает сколько ботов пришло на сайт.
Наши старейший партнер (рекламная сеть — не буду показывать пальцем), неожиданно вошёл в блэк-лист: минимум, около 15% трафика ежедневно, по отчетам «Ботфактора» якобы доставляется ботами-экспертами.
Блокировать не решились — аккаунт партнерской сети ответил, что у них трафик полностью живой, и лишь 2-3% посещений могут быть ботами, т.к. «вероятнее всего, это поисковые боты».

Возникают вопросы:
1) Есть ли свежие отзывы о botfaktor? Если есть, то прецеденты того, как партнеры реагировали на новости о том, что у них есть боты.
2) Есть ли альтернативные бесплатные, или сервисы с тестовым периодом, чтобы сравнить результаты?
3) Смутило то, что UTM-метки (15% трафика по которым якобы идут боты) за почти 2 месяца ни разу не показали конверсии.

P.S.: если будет в тему, поделитесь пожалуйста, какие партнерки подключаете к сайту? (Можно в ЛС).

Заранее благодарю за ответы!

1. Партнеры, в глобальном смысле, как бренд — могут быть не причем, т.к. ботов могут подкручивать рядовые менеджеры в надежде сделать kpi.
2. Кликфрог, ботсканнер
3. Смело блокируйте трафик без конверсии, эти посещения не будут засчитываться, и партнерка соответственно предоставит другой трафик; и тот блокируйте, если опять ботовый. Они обязаны предоставить столько, сколько согласовано по договору.

Ирина, думается, что Вы не совсем верно поняли для чего необходима защита трафика.
Это не для того, чтобы просто оценить его «качество», т.к. трафик действительно может быть живым и незыблемым, хотя при этом «ботовым».

Поясню: когда партнерские сети «льют» трафик, то чаще всего при этом используются настоящие IP-адреса, настоящих людей — но конечно, эти люди редко об этом знают (т.к. чаще всего IP-адреса достаются хакерам вместе с установкой на ПО каких-либо программ, в 90% случаев). Хакеры перепродают трафик партнеркам, а партнерки — Вам. Реальный IP — значит реальный трафик, так что обмана со стороны партнерки нет.

Тот же Botfaqtor собирает, как данные реальных IP с подозрительным поведением (т.е. ранее замеченные по контр-интересам в посещениях, типа сейчас этот IP смотрит «Товары для детей в Москве», а через минуту «Автосервис в Хабаровске»), так и «мертвые» IP, которые работают от фальшивых Прокси-серверов. В этом плане, заслуга сервиса лишь в том, что они собирают данные и блокируют скомпрометированные (так, идея очень проста — не особо инновационно).

Могут ли реальные, но «ботовые» визиты давать конверсию? Ответ «Скорее Да» .
И вот почему:
1) Поскольку краденый IP всё-таки «по-тихому» посещает какие-то сайты, допустим Ваш — то Google это запоминает;
2) В следующий раз, Google обязательно порекомендует реальному человеку с данным IP, ваш сайт (т.к. он уже «якобы» интересовался им).
3) Вероятность того, что этот человек реально купит товар — 50/50. А вашем случае, хоть 1 юзер из 15% точно уж должен выстреливать, хотя бы дополнительными бесплатными визитами.

Подытожу то, с чего начал: Botfaqtor используют, чтобы защищаться от кликфрода (скликивания) контекстной, баннерной, таргетированной рекламы. Только после блокировки можно судить о «ботах», и возвращать свои деньги.

Как избавиться от ботов в подписчиках сообщества ВКонтакте

Владельцы групп и публичных страниц ВК часто сталкиваются с проблемой наличия ботов среди своих подписчиков. Они могут быть накручены недобросовестным SMM-специалистом, которому поручили продвижение сообщества, или конкурентами. Для чего это конкурентам? Например, чтобы группу заблокировали или исключили из поисковой выдачи внутри социальной сети. А еще искусственно созданные аккаунты подписываются на различные группы для собственного пиара или для того, чтобы изобразить активность в соцсети ― для создания мнимой достоверности профиля.

Как с этим бороться? Методы есть. О них мы сейчас и расскажем.

Как обнаружить ботов в своем сообществе

Быть экстрасенсом для этого не нужно. Просто зайдите в группу или паблик, кликните по кнопке «Управление» справа. Она есть только у владельцев и администраторов сообществ.

Перейдите в раздел «Участники». Они отобразятся в виде длинного списка. Пролистайте его и увидите странички, на которых изображена «собачка». Это означает, что пользователь заблокирован или удален. Более 90% ботов со временем «особачиваются», то есть банятся соцсетью за подозрительные действия, связанные с накруткой. Их лучше всего удалить, чтобы в группа не попала под санкции.

Конечно, удалять подобные аккаунты из сообщества можно вручную. Как видите, для этого есть соответствующая функция. Она, кстати, доступна и редакторам. Однако, когда «собачек» сотни или даже тысячи, ручной способ уже не кажется хорошей идеей. Существуют инструменты, которые автоматически удаляют ботов из группы или публичной страницы ВК.

Какие есть инструменты для чистки сообщества от ботов

В интернете есть немало программ и сервисов для удаления заблокированных профилей из группы ВКонтакте. Мы расскажем о тех из них, которые реально работают.

Dog Cleaner

Инструмент бесплатный. Скачайте этот софт, установите на компьютер, запустите от имени Администратора. Дождитесь нескольких секунд, пока открутится реклама, нажмите на кнопку «Закрыть». После этого вы переходите непосредственно к программе для удаления ботов.

Сначала выставьте настройки, указав свой логин и пароль от аккаунта, у которого есть администраторские или редакторские права в сообществе. Пароль от логина отделяется двоеточием. Затем введите ключ от системы антикапчи (поддерживаются Antigate и Rucaptcha). Либо можете не использовать эту функцию, но тогда капчу придется вводить самостоятельно. Нажмите на кнопку «Проверка аккаунтов». Если все ок, идем дальше.

Перейдите на вкладку «Очистка собачек». Укажите логин или id своей группы, из которой вы хотите убрать ботов. Кликните по кнопке «Найти собачек в группе». Дождитесь результатов. В списке справа появятся идентификационные номера заблокированных или удаленных профилей. Чтобы исключить их, воспользуйтесь кнопкой «Удалить собачек из группы».

При желании вы можете удалить и тех пользователей, у которых нет аватарки. Чтобы не удалять всех ботов сразу, а делать это постепенно, укажите количество для удаления. Это можно сделать под списком, введя нужное число.

Программа работает медленно, но делает это за вас, автоматически. За ходом очистки можно следить по статус-бару и логу. Когда процесс завершится, всплывет уведомление.

ViKey Zen

Этот инструмент тоже бесплатный. Это расширение для браузера Google Chrome и мобильного приложения для Android и iOS. Мы покажем, как пользоваться расширением.

Установите дополнение в свой браузер. Авторизуйтесь через ВК, предоставив полный доступ. Функции инструмента разделены по категориям. Пролистайте список и найдите рубрику «Сообщества». Кликните по пункту «Удалить мертвых участников из сообщества».

Подтвердите запуск функции.

Выберите ту группу или страницу, которую хотите очистить от ботов.

Укажите, кого именно нужно удалять:

  • Только заблокированных подписчиков.
  • Только удаленных подписчиков.
  • Всех «собачек» (и забаненных и удаленных).

Рекомендуем выбрать третий пункт. После этого нажмите на кнопку «Очистить подписчиков». Чистка происходит гораздо быстрее, чем в предыдущем инструменте.


Пользователи удаляются не по одному, а сразу по 25 человек. В результате вы получите оповещение завершении очистки завершена.

При помощи ViKey Zen вы можете удалить и тех участников, которые слишком долго время не были онлайн. Скорее всего, они потеряли доступ от странички и завели новую. Как бы там ни было, они висят бесполезным грузом, от которого лучше всего избавиться.

Вернитесь к главной странице расширения. В том же разделе «Сообщества» найдите пункт «Удалить участников, которые не заходили определенный период». Кликните по нему. Укажите период и нажмите на ту группу, из которой нужно удалить пользователей.

Потом просто следите за ходом очистки. По завершении процесса вы получите уведомление.

VK.BARKOV.NET

Сервис очень функциональный, но платный. Нас интересует на данный момент лишь одна его функция — удаление «собачек» из группы.

Авторизуйтесь в сервисе через ВКонтакте. Перейдите к инструменту очистки. Кликните по кнопке «Нажмите сюда для выдачи доступа приложению».

Разрешите доступ, затем скопируйте из адресной строки ссылку и вставьте в поле ниже.

Пролистайте немного страницу, в блоке под первым шагом будет список ваших групп. Выберите нужное сообщество и воспользуйтесь кнопкой «Начать поиск забаненных участников группы».

Через несколько секунд сервис покажет вам перечень «собачек». Вы можете их удалить разом, выбрав все, либо выборочно, пометив галочкой отдельные профили.

Кликните по кнопке «Удалить из группы всех отмеченных», чтобы запустить очистку. Если у вас уже приобретен доступ к сервису, процесс запустится сразу же. Если пока еще нет, всплывет окно с предложением оплатить один из тарифов.

Как почистить профиль от ботов в Instagram и не убить при этом охват

Дисклеймер: следующий абзац написан в несвойственной мне манере отсутствия скромности и всего такого.

Одна из лучших статей в блоге с кейсом про ER набрала более 30.000 просмотров и продолжает расти каждый день. Я натыкался на бурные споры об эффективности такого подхода в нескольких чатах, получил массу обратной связи в личку и был одним из первых (на самом деле первым) кто публично показал на практике то, о чём с начала лета начинали думать многие. И не просто рассказал, но и привёл реально сработавший случай со статистикой до/после и всему инструментами. Молодец я.
Конец абзаца без скромности и всего такого.

К сожалению практически все, кто решил применить практику блокировки ботов и мусорных подписчиков в своих профилях делали это неправильно, и даже я не стал исключением. А всё из-за нескольких банальных ошибок и невнимательного чтения исходного материала. Надеюсь после разъяснений ситуация станет лучше.

Паразайт — удобный сервис автопостинга, аналитики и работы с личными сообщениями в Инстаграме.

Переходите по ссылке, чтобы получить неделю бесплатного использования!

ТОП4 ошибок, совершаемых при блокировке ботов в Instagram

Новое видео о блокировке ботов в Instagram.

    Слишком быстрая блокировка ботов. Есть почти десяток чужих примеров и один свой факап по слишком быстрому уменьшению числа ботов в профиле, что в итоге приводило к урезанию органических охватов. Причём из подобной ямы крайне трудно выбраться, за два месяца мне этого сделать по прежнему не удалось. Вот пара скриншотов профиля, над которым я активно веду работу. Статистика взята из LiveDune. Вначале видна динамика блокировки и небольшой последующий рост. Во время блокировки привлечение аудитории не останавливалось, поэтому общее количество «попавших под санкции» профилей уже перевалило за 3.000.

Географию приводить не стану, но аудитория, как сами видите — просто песня. Только вот редкий пост набирает больше 500 охвата, т.е. менее 10% аудитории аккаунта видит новые публикации. Накрутки лайков для выхода в топы, ЛТ, комментарии от топовых аккаунтов, голосования — ничего не способствует увеличению охвата. Причём многие посты, которые сходу начинают хорошо набирать лайки, примерно через 30 минут спотыкаются и останавливаются, что очевидно указывает на искусственное ограничение охвата.Успел получить обратную связь от Инстаграмщиков, которые блокировали подписчиков с темпом в 500 — 1000 в сутки и получали аналогичное обрезание охвата.
Незнание своей аудитории. Это не пункт состоящий из воды, не думайте про меня плохо. Регулярно встречаю вопросы стиля:«Подскажите фильтры для определения ботов»
«Каких подписчиков стоит блокировать»
«А блокировать от одной или двух тысяч исходящих подписок?»И в комментариях или обсуждении подобных вопросов обычно открываются врата в бездну субъективных оценок происходящего. Не надо так.Никто не подскажет вам фильтр для блокировки ботов без предварительного и глубокого анализа вашего аккаунта. Поэтому либо сами, либо нанимайте стороннего человека (главное проверенного).Объясню на примере двух аккаунтов, от которых мы получили лиды превратившиеся в конверсии.

При этом двое из трёх комментаторов предложат вам блокировать аккаунты без аватарки или с нулём публикаций.

В профиле получившем лиды от этих аккаунтов торгуют не бантиками, а дорогой мужской одеждой. Это накладывает принципиально отличающиеся от обычных профилей ограничения по поиску аудитории, вы бы только знали. Закрытые аккаунты или аккаунты с 0-5 постами — наши лучшие друзья и клиенты, такие действительно регулярно пишут и конвертируются в подписчиков лучше всех.Прежде чем кричать караул и начинать тотальную чистку — изучите аккаунты задающие вопросы по цене, профили бывших клиентов и составьте свою картину мира.

  • Надежда на чудо. В тот момент, когда мы приступили к работе над повышением ER в этой статье, мы не ограничивались только чисткой аккаунта от подозрительных профилей. Была проведена большая работа по составлению контент-плана и рубрикатора, был изменён подход к постам и текстам. Масса мероприятий.Если же вы надеетесь просто заблокировать сотню-другую ботов и получить от этого стремительный рост уровня вовлечённости в профиле, то хочу вас расстроить. Чуда не произойдёт, потребуется комплексный подход к решению проблемы и чистка профиля — лишь один из инструментов.
  • Оглядываться назад, и не смотреть вперёд. Во мне очевидно проснулся романтик. А вот этот пункт уже не настолько необходим, просто захотелось повыпендриваться. Алгоритмы Instagram меняются постоянно, факторы ранжирования и органической выдачи усложняются и мы находимся только на первой стометровке марафона. Надеяться на стопроцентное повторение одного, пусть даже и классного кейса полугодовалой давности в любом профиле, как минимум глупо.
  • Чек-лист для правильной чистки профиля от ботов

    Самое главное: определитесь, точно ли вам требуется очистка профиля от ботов, посмотрите на распределение своих подписчиков по количеству исходящих подписок. Сделать это можно через Picaton или LiveDune. А дальше следуй простым правилам:

    1. Количество заблокированных ботов в сутки должно быть меньше количества новых подписчиков. Это убережёт профиль от возможного попадания под фильтр алгоритмов Instagram, если таковой, разумеется, существуют.
    2. Отсутствие постов/аватарки у аккаунта еще не гарантирует, что он бот и подлежит блокировке:)
    3. Один из главных аргументов характеризующий «бота» ака бесполезного подписчика, с точки зрения вовлечения в работу и продаж — количество исходящих подписок аккаунта. Больше тысячи — уже массфоловер. Человек может быть «вашим клиентом», но контент он замечать не сможет чисто физически.Если вы знаете, что на вас подписано большое количество блогеров практикующих МФ (можете вручную глянуть или через списки топовых подписчиков в LiveDune) — оповестите их. В этом же нет никакой проблемы и наоборот покажете подписчикам, насколько вы цените их внимание. Напишите в Direct, сделайте пост-предупреждение, опубликуйте несколько анонсов в Stories.Если же для вас критически важно оставить подобную аудиторию со 100% гарантией, то тут помогут только парсеры профилей в Instagram. SocialKit, Fidngram, и десятки других. Собирайте собственную аудиторию, сортируйте по количеству исходящих подписок и добавляйте избранные профили в белые списки. Ещё один момент. Многие блогеры и профили использующие МФ зачастую имеют свой второй, личный профиль, в котором и просматривается лента Instagram без лишних подписок. Сам знаю много подобных случаев.
    4. Изучите свою аудиторию заблокировав сотню-другую профилей вручную.
    5. Хороший софт для блокировки ботов — Instaplus или OML.
    6. Вовлекайте, вовлекайте! Пользователи сами не начнут обсуждения без дополнительного пинка в спину.Рекомендую изучить статью: Как получить больше комментариев в Instagram.

    Важный нюанс. Блокируя крупные аккаунты вы теряете возможность смотреть списки их подписчиков и работать по ним с помощью МЛ/МФ, блок получается взаимным. Т.е. заблокировав конкурентов в Instagram продолжить работу по базе их подписчиков у вас уже не получится. Точнее это возможно, но с помощью дополнительных костылей в виде парсеров и готовых списков аккаунтов.

    К примеру в Instaplus есть функция автоматической разблокировки заблокированных подписчиков. Это надо для того, чтобы продолжать спокойно работать по конкурента + в случае, когда вы всё же заблокировали своего целевого клиента он сможет без проблем подписаться на вас опять, а не получить уведомление о том, что вы внесли его в чёрный список.

    Как заблокировать ботов в Instaplus?

    Небольшое руководство по блокировке ботов в Instaplus. Так выглядит настройка при создании задания для блокировки:

    Блокировать подписчиков по фильтру, к сожалению, нельзя. Поэтому для работы вам придётся создать собственный список профилей, которые попадут под блокировку через любой известный парсер. Для своих клиентов Instaplus предлагает web-парсер Findgram. Выгружаете оттуда список в Instaplus и радуетесь жизни.

    Как блокировать ботов в OML?

    В OML всё обстоит несколько проще. Создаём новый канал и используем следующие параметры:

    Ну а фильтрация осуществляется традиционным образом в настройках охвата. Если вы хотите блокировать Массфоловеров подписанных на ваш профиль, то не ошибитесь с окном. Однажды мне писала девушка, которая успела заблокировать все крупные профили подписанные на неё попросту перепутав Подписки и Подписчики.

    Как очистить профиль от ботов в SocialKit?

    Очистка от ботов в SocialKit работает схожим образом, как и в Instaplus.

    Для начала парсим встроенным функционалом подписчиков своего профиля, дальше накладываем на получившуюся базу аккаунтов нужны фильтры. Их много и на любой вкус. Запускаем задачу и наслаждаемся результатом.

    Итог блокировки ботов в Инстаграм

    Прошли те времена, когда рекламодателя/блогера/владельца бизнеса интересовало только число подписчиков, ну и быть может лайки на пост. Сегодня качество аудитории и её affinity становятся главными параметрами оценки профиля. Никому не нужны подписки, всем нужны продажи:)

    Поэтому блокировка подписчиков — это конечно хорошо и нужно, но не забывайте при этом делать качественный и уникальный контент, без него вы попросту потратите время.

    Если у вас остались дополнительные вопросы или я что-то упустил в материале, смело пишите об этом в комментариях, всем отвечу, статью дополню. Удачи вам, и да прибудет с вами ER в 30%!

    Лучший блог про Instagram в социальных сетях. Подписался на свежие статьи?

    Защита сайта от ботов с помощью скрипта

    Роботы поисковых систем сканируют сайт для ускорения индексации его страниц и обновления информации в сети, но есть и иные боты, главной целью которых является поиск уязвимостей сайта для его взлома, а также выгрузка ценной информации с сервера. Дабы этого избежать один умный человек написал скрипт, который защищает сайт от ботов, по крайней мере, сильно бьёт их по зубам, отбивая аппетит.

    Принцип работы скрипта

    Скрипт отлавливает по IP ботов , которые посещают ваш сайт со слишком любезной частотой, после чего блокирует их на некоторое время. Временной отрезок и частота визитов в нём устанавливается вручную, по умолчанию стоит 3 визита в течение 15 секунд, превышение этого интервала приводит к блокировке бота на 1 минуту.

    Защита сайта от ботов может регулироваться прямо в файле скрипта, то есть можно установить любой промежуток времени и количество посещений сайта, после которого происходит блокировка. Конечно, скрипт блокирует и посетителей, которые бегают по страницам со скоростью баллистической торпеды, но это не беда – от таких визитёров всё равно толку ноль, что-то покупать они не будут.

    В скрипт защиты можно вписать адреса, которые никогда не будут блокироваться и адреса, которые по умолчанию заблокированы всегда, для них нет никакого временного интервала – IP попадает в полный бан.

    Чем поможет скрипт

    1. — Снизит нагрузку на сервер,
    2. — Защитит сайт от стороннего сканирования, в том числе и с целью копирования,
    3. — Сэкономит трафик на сервере.

    Как установить защиту

    В папке block, которая предложена внизу на скачку, две папки и скрипт index.php. Папки называются active и block, в первой будут в онлайн режиме показываться активные посетители, во второй заблокированные из-за сомнительно высокой активности. Папка block с внутренними папками и скриптом размещается в корень сайта, после чего в index.php шаблона в пределах тега вносится код

    Это код подключает скрипт при загрузке страницы.

    Настройка

    Все настройки доступны по адресу /block/index.php, где можно указать (скрин):

    1. — В const intervalSeconds – отслеживаемый интервал времени,
    2. — В const blockSeconds – время блокировки бота,
    3. — В const intervalTimes – количество запросов в заданный интервал.

    Также можете указать:

    1. — public static $alwaysBlock = array – всегда заблокированные IP,
    2. — public static $alwaysActive = array – всегда разрешённые IP.

    Не забывайте, что есть и нужные для сайта боты, в том числе роботы поисковых систем, которые могут легко попасть под блокировку и ресурс вылетит из индекса, как пробка из шампанского. Чтобы этого не случилось, пропишите в файле robots директиву

    В ней укажите интервал сканирования ботами ПС с учётом настройки скрипта. Например, вы задали блокировку при более чем трёх визитах в интервал 15 секунд, значит в Crawl-delay надо выставить интервал от 4 секунд.

    Скачать папку с решением можно прямо с блога Zegeberg.

    Топ-пост этого месяца:  Как сделать мобильное меню на Wordpress с плагином и без
    Добавить комментарий