Win-back ускорил покупку или добавил её: проверка длинного окна
Как проверить, добавил ли win-back покупки или перенёс их вперёд. Накопленный эффект на клиента, длинное окно, маржа и правила чтения кривой.
На седьмой день рассылка заметно опережает контроль. Через два месяца разрыв почти исчезает. Первая таблица могла быть верной: люди купили раньше. Ошибка возникает, когда ускорение покупки объявляют добавочной продажей навсегда.
В расчёте прибыли win-back с контрольной группой уже разобраны назначение и маржинальный вклад. Здесь я продолжу одну задачу: как увидеть изменение накопленного эффекта с течением времени.
Горизонт выбирают по циклу покупки
Определите подходящих клиентов до отправки и случайно закрепите группу за клиентом либо другой согласованной единицей. Контроль не получает проверяемую кампанию. Время ноль — момент назначения или запланированного старта, одинаково определённый в обеих группах. Не начинайте отсчёт от открытия письма: у контроля такого события нет.
Выберите основной горизонт с учётом обычной частоты покупок и времени возвратов. Дополнительные срезы нужны для формы эффекта. Если нормальный цикл длиннее наблюдения, даже разрыв в конце теста ещё не исключает перенос более поздних покупок.
Пропорцию назначений и пропуски данных проверяют до трактовки эффекта. Microsoft Research описывает SRM как диагностический сигнал проблем эксперимента. Само равенство размеров групп не доказывает отсутствие всех ошибок, а обнаруженное расхождение требует расследования.
Одна и та же база на всех срезах
Пусть в каждую группу назначено по 1 000 клиентов. Следующая таблица полностью учебная. Покупатели считаются накопленно от старта: один клиент входит один раз на данном горизонте, независимо от числа заказов.
| Дней после старта | Покупатели: кампания | Покупатели: контроль | Разница долей | Оценка добавочных покупателей |
|---|---|---|---|---|
| 7 | 140 | 80 | 6 п. п. | 60 |
| 30 | 190 | 160 | 3 п. п. | 30 |
| 60 | 220 | 215 | 0,5 п. п. | 5 |
На седьмой день разница равна 140 / 1 000 − 80 / 1 000 = 6 процентных пунктов. На шестидесятый — 0,5 пункта. Умножение на 1 000 даёт соответственно 60 и 5 оценочных добавочных покупателей в группе кампании. Это не список конкретных людей, чью покупку создало письмо.
Тридцатидневные 190 уже включают семидневные 140. Их нельзя складывать. Если нужен эффект отдельного интервала, вычтите предыдущее накопленное значение: между днями 7 и 30 появилось 50 новых покупателей кампании и 80 контроля.
При разных размерах групп сначала делите на исходное число назначенных. Клиенты без покупки остаются со значением ноль. Для повторных заказов добавьте отдельную накопленную метрику количества заказов и суммарного вклада на клиента, сохранив единицу анализа.
Сближение кривых требует объяснения
Учебная форма согласуется с переносом покупки вперёд, но не доказывает его единственную причину. Проверьте посторонние акции, доступность товара, попадание промокода в контроль и изменения контактов с группами. Условия обслуживания должны оставаться сопоставимыми.
Для каждого среза оцените неопределённость подходящим методом на клиентских данных. Эти срезы зависимы: один и тот же клиент наблюдается несколько раз. Ежедневный поиск первого значимого дня без учёта повторных проверок меняет риск ошибки. Основной горизонт и правило анализа фиксируют заранее.
Работа Microsoft о трактовке метрик эксперимента полезна как предупреждение о неверном выводе из движения показателя. Конкретная таблица накопленного эффекта здесь — предлагаемый способ анализа, не готовый норматив Microsoft для рассылок.
Деньги могут вести себя иначе, чем покупатели
Скидка способна ускорить покупку и снизить вклад. Условно: к шестидесятому дню кампания дала 180 000 ₽ вклада, контроль — 190 000 ₽ при равных группах. Разница составляет −10 ₽ на назначенного клиента, ещё до отдельных расходов кампании. Небольшой плюс покупателей не исправляет отрицательную экономику.
В отчёте сохраните назначение, дату старта, накопленные показатели на заранее выбранных горизонтах, интервалы неопределённости и загрязнения контроля. Затем решите, достаточно ли окна для вашего цикла. Следующее действие — добавить к текущему отчёту win-back один согласованный длинный срез, сохранив исходные группы.