Роботы в аналитике: проверка без выдуманных людей
Как оценить подозрительный трафик без выдуманной аудитории: запросы, визиты, признаки автоматизации, сегменты и границы фильтрации роботов.
Тысяча обращений к HTML не означает тысячу читателей. В серверных логах бывают поисковые роботы, проверки доступности и автоматические загрузки. А браузерная аналитика видит только свой способ измерения, который тоже не равен переписи людей.
Я бы начинал такую проверку в маркетинговой аналитике с переименования колонок. «Запросы», «визиты по правилам системы» и «подтверждённые заявки» дают читателю больше понимания, чем один столбец «аудитория». Лишь после этого имеет смысл обсуждать фильтрацию.
Один подозрительный признак не выносит приговор
Высокая частота запросов, регулярные интервалы, необычный User-Agent и обход большого числа страниц помогают искать автоматизацию. Но один User-Agent можно подделать. Короткий визит может принадлежать обычному человеку, а похожие IP — пользователям общей сети. Группируйте признаки и проверяйте примеры.
| Наблюдение | Что можно сказать | Чего пока нельзя сказать |
|---|---|---|
| Объявленный робот в User-Agent | Клиент представился роботом | Личность надёжно подтверждена |
| Повторяемый быстрый обход | Есть основание проверить автоматику | Все короткие визиты нужно удалить |
| Нет браузерного события | Система не записала событие | Посетителя-человека точно не было |
| Есть заявка | Получено обращение | Оно обязательно качественное и настоящее |
Прочитайте правило встроенного фильтра
GA4 автоматически исключает известных роботов. Справка также указывает, что увидеть объём такого исключённого трафика нельзя. Из этого не следует, что весь оставшийся трафик гарантированно принадлежит людям или что фильтрация одинаково работает в другой системе.
Перед изменением настроек своей аналитики проверьте их действие на историю и доступность исходных данных. Сначала создайте обратимый сегмент или отдельную выгрузку для анализа. Не включайте необратимое удаление только ради красивого графика, пока критерии не проверены на реальных примерах.
Покажите исходное и очищенное рядом
Условный пример: в логах 1 000 HTML-запросов, из них 300 попали под ваше правило подозрительной автоматики. Остаётся 700 запросов после исключения. Их нельзя назвать 700 людьми. Неизвестные роботы, повторные запросы и посетители без сохранённого реферера всё ещё возможны.
Сохраните правило и размер каждой группы, включая неопределённую. Для поисковых обращений отдельно отметьте наличие реферера и способ его распознавания. Отсутствие реферера не доказывает прямой заход: он мог потеряться. Запросы поискового робота тоже не являются поисковыми переходами аудитории.
Свяжите очистку с решением
Если проверяете нагрузку, все обращения к серверу могут быть полезны независимо от того, кто их сделал. Если оцениваете интерес к статье, нужны доступные данные о чтении и ограничениях измерения. Если оцениваете продажи, проверяйте конечные оплаченные заказы и качество связи с источником.
При недоступности счётчика поможет резервный учёт, но он сохраняет свои ограничения. Изменения правил фиксируйте вместе с версией событий и определением знаменателя. Так скачок после очистки не будет выдан за внезапное изменение поведения аудитории.