Инкрементальность ретаргетинга: как посчитать дополнительные продажи
Разберите holdout-тест ретаргетинга: контрольная группа, нормализация размеров, lift, инкрементальный CPA и решение с учётом маржи и неопределённости.
Определите, какое воздействие вы проверяете
Ретаргетинг обращается к людям, уже знакомым с продуктом. Часть из них может купить и без дополнительного объявления. Вопрос эксперимента поэтому звучит узко: изменяет ли конкретная ретаргетинговая кампания вероятность покупки среди выбранной подходящей аудитории? Проверяется кампания, окно аудитории и период, а не полезность всей рекламы компании сразу.
Зафиксируйте целевое событие: оплаченный заказ, подтверждённая заявка или другое действие, связанное с бизнесом. Заранее определите обработку возвратов и повторных покупок. Если в одной группе учитываются все заказы, а в другой только первые, сравнение потеряет смысл. Отдельно сохраните обычный отчёт атрибуции, чтобы потом объяснить, почему его результат отличается от экспериментального.
Создайте сопоставимые группы до показа
Предпочтительный вариант — случайное распределение подходящих пользователей на тест и holdout внутри доступного экспериментального механизма. Тестовая группа может получать исследуемую рекламу, контрольная исключается из этого воздействия. Другие коммуникации должны быть максимально сопоставимы. Если контроль всё равно видит ту же рекламу в другой кампании, разница между группами размывается.
Нельзя просто сравнить увидевших объявление с неувидевшими: доставку рекламы определяют аукцион и поведение пользователей. Такие группы могут изначально отличаться намерением купить. Google Conversion Lift описывает контрольный подход, но доступен не всем аккаунтам. Перед планированием проверьте текущие требования площадки и возможность корректно исключить контроль из исследуемого воздействия.
Нормализуйте результат по размеру группы
Условный пример: в тесте 5 000 пользователей и 150 покупателей, в контроле 5 000 пользователей и 125 покупателей. Конверсия составляет 3% и 2,5%. Абсолютная разница равна 0,5 процентного пункта, относительный прирост — 20%. Оценка дополнительных покупателей в тестовой группе равна 25, если дизайн сравнения корректен.
При разных размерах групп сначала сравнивайте доли, а затем пересчитывайте контрольный уровень на размер теста. Если в контроле 10 000 пользователей и 250 покупателей, контрольная конверсия всё так же 2,5%. Вычитать 250 из 150 нельзя: это сравнение разных масштабов. Ожидаемые покупки теста без воздействия остаются 5 000 × 2,5% = 125.
| Показатель | Расчёт в условном примере | Результат |
|---|---|---|
| Конверсия теста | 150 / 5 000 | 3% |
| Конверсия контроля | 125 / 5 000 | 2,5% |
| Абсолютный lift | 3% − 2,5% | 0,5 п.п. |
| Относительный lift | 0,5 / 2,5 | 20% |
| Дополнительные покупки | 5 000 × (3% − 2,5%) | 25 |
Переведите прирост в экономику
Продолжим условный пример. На исследуемую рекламу потрачено 50 000 рублей. При оценке 25 дополнительных покупателей инкрементальный CPA равен 2 000 рублей. Он может быть значительно выше CPA в обычном кабинете, потому что часть атрибутированных покупок произошла бы и без этой рекламы. Такое расхождение само по себе не означает, что один отчёт сломан.
Если вклад дополнительного заказа после переменных расходов, но до рекламных затрат составляет 1 500 рублей, оценка дополнительного вклада — 37 500 рублей. После вычета 50 000 рублей расходов результат равен минус 12 500 рублей. Здесь предполагается одинаковый вклад заказов; при разном составе покупок используйте фактическую стоимость и маржу групп. Будущую ценность повторных заказов добавляйте только с отдельными обоснованными допущениями.
Оцените неопределённость до вывода
Числа в примере показывают арифметику, но не доказывают статистическую значимость. До запуска определите минимальный эффект, ради которого изменится бюджетное решение, и необходимый объём наблюдений. Длительность должна учитывать полный цикл конверсии. Если покупки часто завершаются через две недели, нельзя оценивать вчерашнюю аудиторию так, будто у неё было столько же времени, сколько у прошлой.
Смотрите доверительные интервалы или другие показатели неопределённости, предусмотренные методом исследования. Не завершайте тест в первый день, когда график стал приятным. При отрицательном или близком к нулю приросте отношение расходов к приросту может быть неинтерпретируемым; не публикуйте огромный CPA как точную оценку. Сначала объясните, что тест не дал надёжного положительного эффекта.
Примите ограниченное решение
Результат относится к проверенной аудитории, предложению, частоте и периоду. Если дополнительный вклад не покрывает расходы, можно проверить более короткое окно ретаргетинга, другое сообщение или меньший охват — как отдельный эксперимент. Успех одной группы также не означает, что бюджет можно увеличивать без границы: состав дополнительного охвата изменится.
Калькулятор unit-economics поможет проверить вклад заказа по введённым данным, но не создаёт контрольную группу и не оценивает статистическую значимость lift. Частые ошибки — сравнивать неодинаковые группы по абсолютным покупкам, забывать задержку и называть атрибутированный ROAS причинным эффектом. Сохраните дизайн, исключения и неопределённость вместе с решением, чтобы результат можно было корректно использовать позже.
Применить на практике
Частые вопросы
Можно ли измерить инкрементальность простым отключением ретаргетинга на неделю?
Сравнение до и после уязвимо к сезонности, акциям и изменению спроса. Оно может дать ориентир, но не равно рандомизированному holdout-тесту. Для географического или временного дизайна нужны отдельные проверки сопоставимости.
Что делать, если конверсий мало для теста?
Не обещайте точность, которой данные не дают. Проверьте требования выбранного метода, допустимую длительность и размер эффекта, который имеет смысл обнаружить. Иногда полезнее сначала исправить события и экономику, чем запускать слабый эксперимент.