Performance15 октября 2025 г.4 мин

A/B-тестирование в маркетинге 2026: как не тратить бюджет на ложные инсайты

Как спланировать A/B-тест: гипотеза, единица распределения, размер выборки, проверка данных и правило остановки. Разбор результата без ложных обещаний.

Обложка статьи: A/B-тестирование в маркетинге 2026: как не тратить бюджет на ложные инсайты

Хороший A/B-тест начинается с решения, которое вы примете по результату. Что именно изменится для пользователя, какую метрику это должно сдвинуть и какой эффект оправдает внедрение? Если эти ответы появляются после просмотра отчёта, выбрать удобного победителя слишком легко.

Я бы до разработки вариантов записал короткий протокол: гипотеза, аудитория, основная метрика, ограничения и правило завершения. Он помогает отличить запланированную проверку от объяснения уже увиденных цифр. Общую логику работы с посадочной можно дополнить разбором первого экрана лендинга, если этот переход соответствует вашей задаче.

От изменения к проверяемой гипотезе

Фраза «сменим заголовок» описывает действие. Для гипотезы добавьте механизм: какую неопределённость посетителя снимает новый текст и какое действие станет проще. Затем определите, как измерите результат и какой ущерб недопустим. Можно проверять отдельный элемент или концепцию страницы целиком. Во втором случае вывод относится к пакету изменений, а не к каждой детали отдельно.

Основная метрика связывает тест с решением, защитные метрики ограничивают побочные потери. Например, больше отправленных форм может сопровождаться меньшей долей оплаченных сделок. Одна метрика не обязана описывать всё качество изменения, но менять её после просмотра результата без явной оговорки нельзя.

Размер выборки зависит от эффекта, который хотите заметить

В калькуляторе размера выборки Evan Miller задаются базовая конверсия, минимально различимый эффект, мощность и уровень значимости. Нет одной таблицы «столько посетителей достаточно для любой конверсии». Чем меньшую разницу вы хотите надёжно различить при прочих равных, тем больше потребуется наблюдений.

Следите за единицами. Рост конверсии с 2% до 2,2% — это 0,2 процентного пункта и 10% относительно исходных 2%. Количество посетителей, событий и покупателей — разные величины. Расчёт для бинарного события на пользователя нельзя автоматически переносить на повторные заказы или средний чек.

Условный пример, достаточность выборки не установлена
ПоказательAB
Участники10 00010 000
Участники с целевым событием200220
Наблюдаемая конверсия2%2,2%

Из этой таблицы можно вычислить наблюдаемую разницу. Чтобы объявить результат теста, нужны корректный дизайн, статистический метод и интервал неопределённости. Значение p не является вероятностью того, что гипотеза верна. Оно оценивается при допущениях выбранного теста, включая нулевую гипотезу.

Распределение и доставка вариантов

Выберите единицу распределения: пользователь, аккаунт или другая сущность, которая соответствует продукту. Один и тот же участник должен получать вариант по заранее определённому правилу. Равные расходы на две рекламные кампании сами по себе не обеспечивают случайное распределение: различаться могут аукционы, аудитории и условия показа.

Проверьте закрепление варианта, регистрацию участия, ошибки формы и сбор целевого события. Запуск A в одну неделю, а B в другую добавляет различия календаря и спроса. Даже одновременный тест требует проверки перекоса состава групп и корректности аналитики.

Microsoft Research описывает Sample Ratio Mismatch как сигнал несоответствия наблюдаемого распределения заданному. Причина может находиться в назначении вариантов, исполнении, логах или анализе. Увидев такой сигнал, сначала найдите причину, затем оценивайте эффект. Для практической диагностики есть отдельная проверка SRM.

Правило остановки задаётся заранее

Выберите метод, который соответствует наблюдению за тестом. Для фиксированного горизонта заранее задайте объём и срок, учитывающий рабочий цикл продукта. Не завершайте тест при первом удобном значении p. Если нужен последовательный анализ, используйте метод и инструмент, которые рассчитаны на такие просмотры, и выполняйте их условия.

Универсального срока в две недели нет. Важны объём, цикличность и задержка результата: оплата может появиться позже заявки. Если нужную выборку невозможно набрать за разумный для бизнеса срок, проверьте более крупное изменение или другую задачу исследования. Наблюдение за понятностью формы может обнаружить проблему, но не измеряет прирост конверсии от исправления.

Инструмент должен поддерживать ваш протокол

Google Optimize и Optimize 360 недоступны с 30 сентября 2023 года. Их нельзя рекомендовать для нового запуска. При выборе действующего инструмента проверьте способ распределения, закрепление, события участия, статистический метод, экспорт и требования к данным. Наличие счётчика аналитики само по себе не создаёт механизм A/B-теста.

Перед внедрением сохраните результат вместе с условиями: период, число участников, изменение метрики, неопределённость, защитные показатели и обнаруженные сбои. Если данных недостаточно, так и запишите. Следующая итерация должна опираться на то, что проверено, а не на самую красивую строку отчёта.

Практические продолжения

Ещё по теме