A/B-тестирование в маркетинге 2026: как не тратить бюджет на ложные инсайты
80% A/B-тестов в маркетинге дают ложно-позитивный результат из-за недостаточной статистической мощности. Как считать размер выборки, когда останавливать тест, как приоритизировать гипотезы. С формулами и реальными кейсами.
A/B тест — это единственный способ знать наверняка, а не предполагать. Всё остальное — экспертное мнение. Мнение полезно для генерации гипотез. Тест полезен для их проверки. Разница принципиальная.
Я протестировал несколько сотен гипотез за восемь лет — на посадочных страницах, в рекламных объявлениях, в email-рассылках. Выводы, которые меня удивили сильнее всего: кнопка «Рассчитать стоимость» конвертила на 34% лучше «Оставить заявку» при одинаковом тексте вокруг. Убрать одно поле из формы дало рост конверсии на 22%. Фото реального клиента вместо стоковой картинки — плюс 41% CTR.
Интуиция маркетолога стоит примерно нисколько. Тест стоит месяц работы. Результат теста стоит годы оптимизации.
1. Как формулировать гипотезу
Неправильная гипотеза: «Давайте сменим картинку». Это не гипотеза. Это действие без обоснования.
Правильная гипотеза: «Если заменить стоковое фото офиса на фото реального команды, CTR вырастет, потому что люди доверяют реальным людям больше, чем постановочным снимкам».
Структура гипотезы: Если [изменение], то [метрика] изменится на [ожидаемую величину], потому что [механизм]. Это дисциплинирует и не даёт тестировать случайные вещи.
2. Размер выборки: когда данных достаточно
Самая частая ошибка: остановить тест, когда вариант B обогнал A на 15% после 200 конверсий. Это статистический шум. Пример из практики: на одном проекте тест после 3 дней показывал +22% к конверсии вариантом B. После полных 14 дней разница оказалась −3%. Не значимая и в другую сторону.
| Базовая конверсия | Ожидаемый прирост | Нужно конверсий на вариант (95%) |
|---|---|---|
| 1% | +20% (до 1.2%) | ~6300 |
| 2% | +20% (до 2.4%) | ~3200 |
| 5% | +20% (до 6%) | ~1300 |
| 2% | +50% (до 3%) | ~900 |
| 5% | +50% (до 7.5%) | ~380 |
Вывод из таблицы: чем меньше базовая конверсия и меньше ожидаемый эффект — тем больше нужно трафика. На лендингах с конверсией 1–2% и сайтах с трафиком 100–200 посетителей в день тест займёт месяцы. Это нормально — просто нужно планировать.
3. Что тестировать в первую очередь
Приоритизация по потенциальному влиянию: сначала тестируем то, что влияет на biggest funnel drop — самый слабый переход в воронке.
Если CTR объявления — 0.5%, а в норме по нише 1.5–2% — тестируем объявления. Если CTR нормальный, но конверсия лендинга 0.8% при норме 3–5% — тестируем посадочную. Нет смысла тестировать CTA на лендинге, если объявления дают нецелевой трафик.
Самые высокоэффективные гипотезы по моему опыту: заголовок H1 посадочной страницы, главный CTA (текст и расположение), оффер (что именно предлагаем), количество полей в форме, social proof (тип и расположение).
4. A/B тест в рекламных кабинетах
В Директе и VK Ads тестирование объявлений работает немного иначе, чем на сайте. Алгоритмы сами распределяют показы между вариантами, предпочитая те, что дают лучший CTR. Это не чистый A/B тест — это оптимизация алгоритма.
Для чистого теста в Директе: создайте две идентичных кампании с разными объявлениями, задайте одинаковый бюджет и не трогайте их одновременно. Сравнивайте через 7–14 дней по одной метрике.
В VK Ads есть встроенная функция сплит-теста — но помните: алгоритм вмешивается в распределение трафика. Для объявлений это ок. Для посадочных страниц — лучше внешний инструмент (Google Optimize или Я.Метрика эксперименты).
О тестировании креативов подробнее: Рекламные креативы для performance: что работает в 2026.
5. Типичные ошибки A/B тестирования
Останавливают тест слишком рано. Как только один вариант начал выигрывать — рука тянется остановить и запустить победителя. Ранняя остановка даёт ложные результаты в 30–40% случаев.
Тестируют несколько вещей одновременно. Если заменить и картинку, и заголовок, и CTA — непонятно, что сработало. Одно изменение за раз.
Не учитывают сезонность и дни недели. Тест, запущенный только на будни, даст другой результат, чем на полный рекламный цикл. Особенно критично для B2B (пики в пн–ср) и e-com (пики в пт–вс).
Считают победителя по CTR, а не по CPL. CTR вырос — значит объявление привлекает больше кликов. Но если посадочная страница не конвертит этот трафик в лиды — это не победа. Финальная метрика — CPL или ROAS, а не CTR.
6. Автоматизация и инструменты
Для тестирования посадочных страниц без разработчика: Я.Метрика эксперименты (бесплатно, для Рунета), Google Optimize (закрыт, но есть аналоги — VWO, AB Tasty). Для быстрого прототипа — v0 или Claude Code для создания варианта B лендинга.
Для фиксации гипотез и результатов — таблица в Notion. Структура: гипотеза, метрика, период, результат, вывод. Без неё через месяц не вспомните, что уже тестировали.
Если хотите разобрать методологию тестирования для вашего проекта — пишите в Telegram @dipustovalov или через форму. Стартовая консультация — 0 ₽.