Как отсеять “умных ботов” в статистике Google Analytics

Есть такие “ребята” – незваные гости на ваш сайт. К счастью, практически все современные инструменты анализа трафика для веб-ресурсов позволяют таких гостей фильтровать, не замечать и не выводить в статистике. Объяснение этому простое: когда живой человек приходит на сайт (открыв его с помощью стандартного браузера), инструмент анализа для идентификации такого посетителя использует ява скрипт, и когда этот скрипт успешно срабатывает – система засчитывает посещение. У всяких роботов, ботов и прочих нелюдей отработка скриптов отключена, потому система их не распознаёт.

Но есть и такие “умные боты”, которые почти как живые посетители. Здесь возникают сложности у систем аналитики, которые используют ява скрипты: они засчитывают такие посещения, как настоящие. Всё бы ничего, если бы уровень таких посещений был ничтожно мал. Он мал, но не ничтожно.

Вот, например, график посещений сайта одного из наших клиентов:

Синим цветом отмечены все посещения, а оранжевым – посещения одного из видов таких вот смарт ботов, в роли которого выступает Mozilla Compatible Agent. Не буду подробно останавливаться на них, т.к. на лунаметрикс уже давно описано: что, как и почему. Нас здесь интересует то, что на уровень посещений в 3-4 тысячи в сутки – “незваных гостей” – 1%, то есть стабильно – 30-40 ботов в день. Допустим, здесь это не критично, а теперь представьте, что у вас сайт со 100-200 тысячами посещений в сутки, из которых смарт ботов будет уже 1-2 тысячи. А ведь Google Analytics позволяет обрабатывать до 10 миллионов хитов в месяц, если конечно вы привязаны именно к данному инструменту. Да и статистика ботов не радует – те же показатели отказов. Вот, например, график посещений этих ботов без общих данных:

Благо, в последнее время посещаемость таких “ребят” снизилась, но кто знает, что ждёт нас впереди. А для того, чтобы обезопасить свою драгоценную статистику и не портить ее непонятно какими данными есть несколько решений. На одной из крупных конференций (iForum 2013, доклад Ромы Рыбальченко) слушатель задал вопрос: зачем в Google Analytics фильтры и сегменты, если функция одна и та же? Еще тогда я понимал, что разница в чём-то существенном. В какой-то мере проблема со смарт ботами помогла мне в этом разобраться.

В Google Analytics есть сегментация и есть фильтрация. Сегментация позволяет вам фильтровать уже имеющиеся данные и, отсеяв ненужное, получить то, что вы ищете. Фильтры делают то же самое, но с одним очень важным нюансом: применить фильтр на уже имеющиеся данные вы не можете. Вы можете настроить фильтр – нажать кнопку «вкл.» в своём представлении Google Analytics. Именно с этого момента данные, собирающиеся в статистике, будут уже отфильтрованными. До этих пор статистика всё ещё будет держать исторические неотфильтрованные данные, которые никак не убрать, кроме сегментов.

В нашем случае для создания сегмента, нужно всего лишь воспользоваться импортом уже готового решения в шаблонах Google Analytics. А для фильтрации создать новый простой пользовательский фильтр, исключив Браузер с названием «Mozilla Compatible Agent».

Всё. Теперь ваша статистика будет чиста, как и ваша совесть.

Подготовил Андрей Карякин, менеджер комплексных проектов «Ольшанский и партнеры»

Читайте также:

Сповідь параноїка: чи можна втекти від Google?

Как узнать, прочитано ли адресатом письмо на почте? — немножко лайфхаков

Що потрібно знати про мобільну аудиторію в Україні — нове дослідження від Kantar TNS

Підсумки IT-року від DOU: ріст 27%, дефіцит фахівців, релокація топ-спеціалістів