Winback: как посчитать эффект через контрольную группу
Как отделить возврат после рассылки от возврата благодаря ей: случайное разделение базы, одинаковое окно, маржинальный вклад и ограничения расчёта.
Покупки после winback-рассылки ещё не показывают её добавочный эффект: часть клиентов вернулась бы сама. Для оценки случайно оставьте сопоставимую часть подходящей базы без этой кампании и сравните результат на одного назначенного клиента за одинаковое окно.
Я бы принимал решение по добавочному маржинальному вкладу, а число вернувшихся использовал как объясняющий показатель. Скидка может поднять конверсию и одновременно уменьшить вклад каждой покупки. В итоге красивый отчёт о возвратах способен скрыть слабую экономику.
Выбор аудитории и сообщений разобран в материале о сегментах winback. Здесь решаем следующую задачу: как проверить, сколько результата добавила конкретная кампания.
Протокол до первой отправки
- Определите подходящую базу и единицу: клиент, аккаунт или домохозяйство, если покупки связаны. Уберите дубли.
- Заранее запишите гипотезу, основную метрику, окно наблюдения и правило принятия решения.
- Случайно назначьте единицы в кампанию и контроль. Сохраните назначение как неизменяемую версию.
- Проверьте сопоставимость исходных характеристик и отсутствие непредусмотренных различий в обработке групп.
- По завершении окна рассчитайте результат по всем назначенным единицам и оцените неопределённость.
Принцип случайного распределения описан в руководстве NIST по полностью рандомизированным дизайнам. Он уменьшает систематическое смещение назначения, но не гарантирует идеальный баланс любой конкретной выборки. Если выдали кампанию самым ценным клиентам, а остальных назвали контролем, сравнение уже смешивает воздействие с исходным различием.
Контроль не получает именно проверяемую winback-кампанию. Остальное обслуживание должно идти по сопоставимым правилам. Если менеджеры вручную обзванивают только одну группу или промокод свободно уходит в контроль, это нужно зарегистрировать: смысл сравнения меняется.
Почему знаменатель — все назначенные клиенты
Не исключайте после старта тех, кому письмо не доставилось или кто его не открыл. Иначе вы отберёте из кампании более доступных либо заинтересованных людей и сравните их с исходным контролем. Основной результат оценивайте по назначению; доставку и открытия разбирайте отдельно как этапы процесса.
Случайное разбиение также нельзя пересчитывать при каждом обновлении таблицы. Если используете случайные числа в электронной таблице, зафиксируйте полученные значения и состав групп до отправки. Сохраните дату, критерии включения и связь с ID клиента.
Условный расчёт: вернулись 120, добавилось меньше
Все числа далее учебные. Пусть в каждую группу назначили по 1 000 клиентов, окно — 30 суток, у покупателя в примере одна покупка. Кампания дала скидку; её влияние уже отражено в маржинальном вкладе заказа. Вклад считается после возвратов и переменных затрат, до отдельного расхода на кампанию.
| Показатель за 30 суток | Кампания | Контроль |
|---|---|---|
| Назначено клиентов | 1 000 | 1 000 |
| Купили | 120 | 80 |
| Доля купивших | 12% | 8% |
| Средний вклад покупки | 700 ₽ | 900 ₽ |
| Суммарный вклад | 84 000 ₽ | 72 000 ₽ |
| Вклад на назначенного клиента | 84 ₽ | 72 ₽ |
Разница конверсий — 4 процентных пункта: 12% − 8%. Оценка добавочных покупателей в группе кампании — 1 000 × 4% = 40. Это оценка общего эффекта, а не возможность назвать конкретных сорок человек, которых «вернула рассылка».
Разница вклада — 84 − 72 = 12 ₽ на назначенного клиента. Для 1 000 получателей это 12 000 ₽ до расходов на кампанию. Если её отдельная стоимость составила 8 000 ₽, расчётный добавочный результат равен 4 000 ₽.
Приписать кампании все 84 000 ₽ означало бы проигнорировать естественный возврат и уменьшение вклада покупки. Скидку повторно не вычитают, если она уже снизила фактически полученную выручку, из которой считали вклад.
Формулы для разных размеров групп
Обозначим число назначенных клиентов как Nт и Nк, число покупателей — Bт и Bк, суммарный маржинальный вклад — Mт и Mк. Индексы т и к обозначают кампанию и контроль. C — отдельные расходы на кампанию, ещё не включённые в Mт.
- Разница долей покупателей: Bт / Nт − Bк / Nк.
- Оценка добавочных покупателей в группе кампании: Nт × (Bт / Nт − Bк / Nк).
- Разница вклада на клиента: Mт / Nт − Mк / Nк.
- Добавочный результат после расходов: Nт × (Mт / Nт − Mк / Nк) − C.
Например, при контроле вдвое меньше кампании нельзя просто вычесть две итоговые суммы. Сначала приведите результат к одному назначенному клиенту. При нулевой численности группы оценка не определена. При повторных заказах учитывайте весь вклад клиента за окно, сохранив правило для обеих групп.
Положительное число ещё нужно проверить
Учебная таблица показывает арифметику, но не содержит распределения вклада по клиентам. По ней нельзя построить надёжный интервал неопределённости маржинального эффекта. Один крупный заказ может сильно изменить сумму; для реального анализа нужны исходные наблюдения и подходящий статистический метод.
Размер выборки и длительность планируйте под исходную конверсию, разброс результата и минимальный эффект, ради которого стоит менять решение. Универсального правила «отправить тысяче и подождать неделю» нет. В руководстве GOV.UK по A/B-тестированию гипотеза и основной показатель также определяются до проведения теста.
Дополнительно посмотрите более длинное окно. Кампания могла только сдвинуть покупку из следующего месяца в текущий. Повторяйте тесты так, чтобы контроль не пересекался с другими воздействиями незаметно для аналитики.
В отчёте маркетолога покажите назначение групп, окно, разницу результата, расходы и неопределённость рядом. Если оценка прибыли нестабильна, следующий шаг — уточнить измерение или продолжить заранее спланированный тест. Масштабирование по числу открытий письма эту неопределённость не снимает.