К глоссарию
АналитикаТермин

A/B-тест

A/B test · сплит-тест · split test

A/B-тест — эксперимент, где две версии (A и B) показываются разным группам аудитории для сравнения метрик.

A/B-тест — эксперимент, где две версии чего-либо (объявление, лендинг, email) показываются разным случайным группам аудитории. Затем сравнивается, какая версия дала лучший результат по выбранной метрике (CTR, CR, выручка).

В моих проектах A/B-тест — основа любого изменения. Я не выкатываю «новую версию» лендинга — я выкатываю A/B-тест между старой и новой. Это спасает от провалов.

Правила, которые соблюдаю всегда: - Минимальный статистический объём — 1000+ конверсий на каждый вариант для надёжных выводов - Минимальный срок — 7+ дней (учитывает дневные циклы) - Только одна переменная за раз — иначе невозможно понять, что именно сработало - Фиксированная гипотеза до запуска — «вариант B даст больше CR на 15%». Без этого — fishing expedition

Часто маркетологи делают A/B-тесты неправильно: маленький sample size, преждевременные выводы, тест 2-х дней с p=0.3 («ну вроде B лучше»). Это не A/B-тест, это самообман.

Практический пример из моей практики — в кейсе -20% к плану квартала я как раз провалился, потому что сразу выкатил новое сегментирование на 100% бюджета вместо A/B-теста на 30%. Урок: всегда контрольная группа.

Частые вопросы про A/B-тест

Что такое A/B-тест?+
A/B-тест — параллельное сравнение двух вариантов (страницы, объявления, темы письма) на одной аудитории. Половина видит A, другая B. По результату выбирается вариант с лучшей конверсией.
Сколько нужно трафика для статзначимости?+
Зависит от разницы конверсий. Для разницы 30% (1.5% → 2%) нужно ~1 000 конверсий на вариант. Для разницы 10% — ~10 000. При меньшем трафике результат «шумит» и нельзя доверять.
Какой уровень значимости считается надёжным?+
Стандарт в маркетинге — 95% (p-value < 0.05). Это значит «вероятность, что разница случайна — меньше 5%». Для высоких ставок (редизайн страницы checkout) лучше 99%.
Можно ли тестировать несколько изменений одновременно?+
Можно, но тогда не A/B, а MVT (multivariate test). Сложнее в анализе: не видно, какое именно изменение дало эффект. Для большинства задач A/B на одно изменение в один момент времени — оптимально.

Связанные термины

Conversion RateCohort AnalysisCTR

Где разбирается на практике

Кейс провала: −20% на квартал. Что я сделал не так в гипотезе сегментирования

7 мин чтения

Нужно настроить это на вашем проекте?

Разбираю метрики, считаю юнит-экономику и собираю воронки на реальных бюджетах. 30 минут на созвоне — бесплатно.

Написать в Telegram Оставить заявку