Как отделить автоматические посещения от реальных посетителей в SEO-отчётах

Чтобы отделить автоматические посещения от реальных посетителей, сопоставьте данные аналитики с журналами обращений к сайту и исключайте только группы с подтверждёнными признаками автоматизации. Короткий визит, отсутствие заявки или необычная страна сами по себе ничего не доказывают. Сначала выделите подозрительную группу, проверьте её происхождение и поведение, затем сохраните правило исключения вместе с объяснением.

Что именно нужно отделять в статистике

Автоматическое обращение — запрос к сайту, который отправляет программа. Так работают поисковые роботы, сервисы проверки доступности, сборщики информации и автоматические тесты. Часть таких программ загружает страницы без выполнения кода аналитики. Другие используют браузер и могут попадать в отчёты вместе с людьми.

Для анализа потенциальных клиентов полезно разделять обращения на несколько групп:

• Подтверждённая автоматизация: известные проверки сайта, тестовые сценарии, проверенные роботы.
• Подозрительная активность: посещения с необычным поведением, происхождение которых пока не установлено.
• Посещения без признаков автоматизации: основной массив для анализа пользовательского поведения.
• Внутренние посещения: работа сотрудников и подрядчиков, которую следует учитывать отдельно.

Последняя группа не обязательно автоматическая. Сотрудник может вручную проверять форму заказа, но его действия не отражают спрос со стороны клиентов. Поэтому причину исключения важно сохранять: «внутренний тест» и «автоматическая проверка» — разные основания.

Полностью доказать, что каждое оставшееся посещение принадлежит человеку, обычно невозможно. Практическая задача — убрать подтверждённые помехи и показать, насколько неопределённые группы влияют на выводы.

Почему запросы к серверу и визиты в аналитике различаются

Журнал сервера, или лог, — список обращений к сайту. В нём могут быть время запроса, адрес страницы, сетевой адрес отправителя и результат ответа. Один открытый экран способен вызвать несколько запросов: за страницей, изображениями и другими файлами.

Система веб-аналитики обычно получает данные через код на странице — счётчик. Визит в её отчёте объединяет зарегистрированные действия по правилам этой системы. Поэтому запрос к серверу, просмотр страницы, визит и посетитель — разные единицы учёта. Их нельзя напрямую сравнивать как одинаковые величины.

Например, программа проверяет доступность страницы, но не запускает счётчик. Её обращения видны в логах, а в отчёте посещаемости их может не быть. Другая программа открывает сайт в браузере, выполняет код страницы и отправляет события аналитики. Такой сценарий способен выглядеть как обычный визит.

Перед очисткой уточните, что именно искажено: число обращений, посещаемость, источники переходов, заявки или нагрузка на сайт. Исключение из отчёта не прекращает обращения к серверу, а ограничение доступа к сайту — отдельная техническая задача.

Какие признаки помогают найти автоматические посещения

Надёжнее искать сочетание признаков. Каждый отдельный сигнал может иметь обычное объяснение.

Признак	Что проверить	Почему нельзя сразу исключать
Резкий всплеск посещений	Источники, страницы входа, события, изменения на сайте	Всплеск может быть связан с рекламой или упоминанием бизнеса
Повторяющийся маршрут	Последовательность страниц и интервалы между действиями	Клиенты тоже проходят одинаковые сценарии
Обращения через равные промежутки	Расписание технических проверок и записи в логах	Одной повторяемости недостаточно для подтверждения
Много обращений к необычным адресам	Существуют ли страницы, какие ответы отдаёт сервер	Причиной могут быть старые или ошибочные ссылки
Нет действий после входа	Работу счётчика, скорость загрузки и смысл страницы	Человек мог получить ответ сразу
Необычное устройство или география	Другие признаки и соответствие аудитории бизнеса	Сведения могут быть неточными, а клиент — находиться в поездке

Повторяемость важнее одного короткого визита

Подозрение усиливается, когда одна группа регулярно открывает одинаковые адреса в одинаковом порядке, не меняя сценарий. Особенно полезно сопоставить это поведение с расписанием сервисов мониторинга или автоматических тестов.

Но короткие посещения нельзя автоматически считать роботами. Посетитель страницы контактов может быстро узнать адрес. Другой человек закроет сайт, потому что услуга ему не подходит. Это реальные действия, которые нужны для оценки качества страниц и привлечённой аудитории.

Технические сведения требуют проверки

IP-адрес — сетевой адрес, с которого приходит обращение. Один адрес может использоваться несколькими людьми, например в офисной сети. У одного посетителя адрес может меняться. Поэтому исключение по IP без подтверждения способно убрать клиентов.

User-Agent — строка, в которой программа сообщает сведения о себе: например, название браузера или робота. Она помогает искать совпадения, но сама по себе не подтверждает личность отправителя. Если программа представляется поисковым роботом, попросите технического специалиста проверить это по официальной процедуре соответствующего сервиса.

Что подготовить перед проверкой

Понадобятся отчёты аналитики, сведения о настройках счётчика и, по возможности, логи за тот же период. Полезен также список сервисов, которые обращаются к сайту: мониторинг доступности, проверки страниц, интеграции и автоматические тесты.

Попросите специалиста подготовить только необходимые поля. Для этой задачи обычно достаточно времени, пути страницы, результата ответа, технических сведений об отправителе и доступных признаков связи между обращениями. Содержимое форм и персональные данные клиентов не нужны.

Если логов нет, начните с аналитики. Вы сможете найти необычные группы и сравнить отчёты с ними и без них. Однако уверенность будет ниже: отсутствие подробностей не превращает подозрение в доказательство.

Пошаговая проверка подозрительного трафика

Шаг 1. Сохраните исходный отчёт

Зафиксируйте период, выбранные показатели и действующие фильтры. Сохраните выгрузку или отдельный отчёт без новых исключений. Это позволит проверить результат и восстановить ход анализа.

Выберите период, который включает подозрительную активность и обычную работу сайта. При сравнении учитывайте изменения рекламы, сезонность, выходные и технические работы. Иначе рост или падение можно ошибочно связать с автоматизацией.

Шаг 2. Выделите подозрительную группу

Сегмент — часть данных, выбранная по условиям. Создайте отдельный сегмент для проверки, например по источнику, странице входа, устройству или повторяющемуся поведению. Используйте только признаки, которые доступны в вашей системе аналитики.

Запишите наблюдение конкретно: «появились повторяющиеся посещения страницы проверки с одинаковой последовательностью событий». Формулировка «плохой трафик» не помогает ни проверить гипотезу, ни настроить исключение.

Шаг 3. Проверьте альтернативные объяснения

До вывода о роботах выясните, не запускалась ли реклама, не менялись ли адреса страниц, не проводили ли сотрудники тестирование. Проверьте, не установлен ли счётчик повторно и не отправляются ли события дважды.

Ошибка измерения способна создавать необычную статистику без автоматических посетителей. Например, повторная отправка события увеличивает число зафиксированных действий. Исключать визиты в такой ситуации не нужно: требуется исправить сбор данных.

Шаг 4. Сопоставьте аналитику с логами

Перед сравнением проверьте часовые пояса и соответствие времени. Затем найдите обращения к подозрительным страницам и посмотрите, повторяются ли адреса, интервалы и технические признаки.

Не пытайтесь соединить записи только по приблизительно похожему времени. Для уверенной связи нужны дополнительные совпадения, например путь страницы и известный сценарий проверки. Если связи недостаточно, оставьте группу подозрительной.

Шаг 5. Проверьте действия, связанные с бизнесом

Посмотрите, есть ли в группе отправки форм, обращения или заказы. Конверсия — зарегистрированное целевое действие, например заявка. Такое событие ещё не доказывает наличие клиента: автоматический тест тоже может отправить форму.

Сопоставьте события с фактическими обращениями в системе учёта заявок. Достаточно проверить, была ли заявка реальной или тестовой и обработал ли её сотрудник. Если в группе есть подтверждённые клиенты, общее исключение требует пересмотра.

Шаг 6. Присвойте группе статус

Подтверждённую автоматизацию исключите из отчёта о поведении клиентов. Неоднозначную группу сохраните отдельно и сравните выводы с её учётом и без неё. Посещения с обычным поведением оставьте в основном анализе.

Если исключение подозрительной группы меняет оценку страницы или канала, укажите это в отчёте. Такое расхождение показывает необходимость дополнительной проверки, а не даёт основание выбрать более удобный результат.

Как сформулировать правило исключения

Хорошее правило описывает конкретную группу и основание для её исключения. Условия должны быть воспроизводимыми: другой сотрудник должен понимать, какие данные отобраны и почему.

Например, вместо «убрать все короткие визиты» используйте правило: «исключать посещения известного автоматического теста по согласованной метке, которая передаётся только в тестовом сценарии». Возможность такого отбора зависит от настройки теста и аналитики.

Для каждого правила сохраните:

• Условия отбора: какие поля и сочетания признаков используются.
• Основание: чем подтверждена автоматизация или внутреннее тестирование.
• Область применения: какие отчёты и периоды затрагиваются.
• Способ применения: сегмент отчёта или фильтр при сборе данных.
• Ответственного: кто может объяснить и пересмотреть решение.
• Условия пересмотра: смена сервиса, адреса, сценария или появление реальных заявок.

Сегмент меняет состав выбранных данных в отчёте. Фильтр при сборе может влиять на то, какие данные сохраняются. Прежде чем применять второй вариант, уточните его действие и возможность отмены. Для первоначальной проверки удобнее отдельный отчёт с исключениями, который можно сравнить с исходным.

Не переносите исключение из одной системы в другую без проверки. Признак, доступный в серверных логах, может отсутствовать в веб-аналитике. В таком случае технический специалист должен определить, как обозначить нужные обращения в каждом источнике данных.

Условный пример: автоматическая проверка формы

Предположим, компания использует тест, который открывает страницу услуги, переходит к форме и отправляет проверочную заявку. Это учебный пример, а не описание реального кейса.

В аналитике такой тест создаёт просмотры и целевое действие. Если смешать его с клиентскими посещениями, отчёт будет учитывать проверочные заявки при оценке страницы. Простое исключение всех посещений без дальнейшей продажи проблему не решает: среди них могут быть настоящие потенциальные клиенты.

Владелец уточняет у разработчика сценарий теста. Разработчик добавляет согласованный признак тестового обращения, доступный для отбора в аналитике, и отдельно помечает проверочную заявку в системе учёта. Затем команда проверяет, что обычная клиентская заявка не получает эту метку.

В отчёте о клиентах тестовый сегмент исключают. В техническом отчёте сохраняют результаты проверки формы. Для старых периодов, где метки не было, автоматические действия отделяют только при наличии достаточных подтверждений. Неопределённость описывают, а не заменяют догадкой.

Как проверить результат очистки

Сравните исходный отчёт, исключённую группу и отчёт после очистки. Посмотрите не только на посещаемость, но и на страницы входа, источники, заявки и маршруты посетителей.

Особенно внимательно проверьте реальные обращения, попавшие под правило. Если вместе с автоматизацией исчезают подтверждённые клиентские заявки, сузьте условия. Исключение должно соответствовать установленной причине, а не просто уменьшать неудобную часть статистики.

Доля визитов с заявкой после очистки может вырасти, потому что из расчёта убрали посещения без заявок. Это изменение состава данных. Оно само по себе не означает, что сайт стал лучше продавать. Для оценки работы бизнеса отдельно сравнивайте фактические обращения и заказы.

В регулярном SEO-отчёте указывайте применённые исключения. При изменении правил либо пересчитайте сопоставимые периоды одинаково, если данные позволяют, либо обозначьте границу изменения методики.

Частые вопросы

Можно ли положиться на встроенную фильтрацию роботов?

Используйте её как один из способов очистки. Проверьте доступные настройки и описание их действия в используемой системе. Собственные тесты и другие известные автоматические сценарии стоит учитывать отдельно, если они продолжают попадать в отчёты.

Нужно ли исключать все посещения из других стран?

Нет. География сама по себе не подтверждает автоматизацию. Если бизнес работает в определённом регионе, создайте отдельный отчёт по целевой территории. Это отбор аудитории по задаче бизнеса, который не следует называть удалением роботов.

Поможет ли robots.txt очистить статистику?

Файл robots.txt содержит инструкции для роботов, которые их учитывают. Он не удаляет уже собранные данные и не заменяет правила аналитики. Очистку отчётов и управление обходом сайта нужно решать отдельно.

Можно ли очистить прошлые периоды?

Это зависит от сохранённых данных и возможностей системы. Если необходимые признаки доступны, прошлый период можно пересчитать с одинаковыми условиями. Если сведения не сохранялись, точно восстановить состав посещений нельзя; ограничение нужно указать в отчёте.

Что включить в отчёт для владельца бизнеса

Покажите исходную посещаемость, объём исключённых данных и показатели после очистки. Рядом объясните причины исключений и перечислите группы, которые пока остаются подозрительными. Так будет понятно, какие выводы подтверждены, а какие зависят от непроверенных посещений.

Основой решений о SEO должны стать сопоставимые отчёты, реальные обращения и понятные правила отбора. Начните с известных технических проверок, затем разбирайте необычные группы. Сохраняйте возможность пересмотреть исключения, когда появятся дополнительные сведения.

Проверить сайт бесплатно