В A/B-тесте письма разная доставка: как читать итог

Вариант А выиграл по кликам от доставленных, но у него заметно больше недоставок. Для задачи «что отправлять базе» результат может оказаться хуже. У теста два разных вопроса: эффект назначения версии письма и реакция тех, до кого оно дошло.

Сохраните исходное назначение

Проверьте журнал, где каждому допустимому контакту до отправки присвоен вариант. Он нужен даже при ошибке доставки. Переназначать недоставленные в другой вариант после результата нельзя. Случайное распределение и фактическая доставка — отдельные этапы, между ними возможен отбор.

Выбор показателя связан с целью эксперимента — это базовая логика выбора дизайна у NIST. Заранее решите, проверяете ли текст при доступной доставке или политику отправки в целом.

Почему ранжирование может перевернуться

А выше по реакции доставленной части, Б выше по доле кликнувших от исходного назначения. Это ещё не статистический вывод о победителе. Пример показывает, почему выбор знаменателя меняет управленческий ответ. Сравнение только доставленных может нарушить сопоставимость людей, если недоставка связана с их характеристиками.

Доставка могла различаться по разным причинам

• Список вариантов изначально имел разную долю устаревших адресов.
• Отправки шли в разное время или через разные настройки.
• Изменение содержимого сопровождалось другим отправителем или ссылками.
• Произошёл сбой очереди, импорта или обработки возвратов.

Ни один пункт нельзя считать доказанным по таблице процентов. Разберите коды возврата, журнал отправок и исходный состав. Если назначение случайное, небольшая разница могла возникнуть случайно; если один вариант получил отдельный импорт, причина может быть технической.

Как оформить результат расследования

Покажите назначения, отправки, доставку, уникальные клики и выбранное конечное действие. Разницу реакции среди доставленных оставьте дополнительным описательным срезом. Для общего эффекта версии доставка может быть частью результата, поэтому механическое исключение недоставленных меняет вопрос.

Параллельно проверьте автоматические клики и агрегацию уникальных контактов. Иначе исправленный знаменатель будет делить искажённый числитель.

Что должно измениться перед повтором

Устраните подтверждённый сбой, зафиксируйте одинаковые условия и заранее выберите критерий. Если данных недостаточно для уверенного решения, сохраните неопределённость. Повторять тест до первого удобного результата и объявлять только его — способ получить красивый ответ на случайность.

В общий email-план верните условия отправки и журнал. Следующая практическая проверка — полный путь ссылки до заказа: клик может быть корректным, но предложение так и не откроется.

Неравные группы проверяются до выбора победителя

Начните с ожидаемого и фактического числа назначений. Если планировали равные группы, а одна значительно меньше, исследуйте фильтры, очереди и момент фиксации списка. Не каждая разница означает поломку: случайное распределение не обязано дать точное равенство. Но изменение состава после назначения должно иметь объяснение, которое не зависит от результата теста.

Затем разделите недоставку по причинам и времени. Временный сбой сервера, постоянный отказ адреса и сообщение, ещё стоящее в очереди, требуют разных статусов. До окончания отправки процент доставки может быть предварительным. Если один вариант отправлялся позже, сравнивайте отклик после одинакового времени, а не по одному календарному моменту.

Полезная репетиция перед повтором — пройти цепочку на небольшой разрешённой технической выборке без изменения коммерческой политики. Проверяются назначение, состав письма, очередь и одинаковая запись событий. Эта проверка не заменяет статистическую мощность будущего теста, но убирает очевидные технические источники расхождения. В итоговом протоколе отдельно укажите, что починено, что осталось гипотезой и какое сравнение новый запуск должен позволить сделать.