В тесте десять метрик: почему одна победа ещё не результат

Десять проверок дали одну зелёную строку. Право назвать её победой зависит от того, что команда обещала проверить до начала. Разберу два условных протокола: одну основную метрику с поисковыми срезами и семейство из десяти подтверждающих проверок.

В обоих случаях сначала нужна исправная рандомизация и доставка событий. Поправка на множественность не восстанавливает потерянные заявки, ошибочные группы или неодинаково дозревшие исходы.

Протокол А: главная цель не прошла, сегмент понравился

До теста лендинга команда выбрала primary: долю аккаунтов с оплатой за семь суток. Guardrails — ошибки оплаты и возвраты с заранее установленными пределами ухудшения. Устройства, источники и клики по цене оставлены exploratory, то есть для поиска объяснений.

Условный журнал решения:

Основной исход: оплата на назначенный аккаунт, p=0,18. Дополнительный срез: мобильные посетители, p=0,02. Дополнительный показатель: клик по объяснению цены, p=0,03. Срезы просмотрены после получения основного результата. Решение: исходная цель не подтверждена; мобильный срез — новая гипотеза.

Нельзя переписать паспорт на «тест для мобильных», оставив те же данные подтверждением. Сохраните все просмотренные срезы, величины эффектов и неопределённость. Новый подтверждающий тест проверяет уже сформулированную мобильную гипотезу на новых данных.

Значение p=0,18 также не доказывает отсутствия полезного эффекта: данных могло не хватить. Итог ограничен выбранным методом, мощностью и горизонтом. Ни одна из трёх строк журнала сама по себе не описывает размер изменения в деньгах.

Протокол Б: заранее заявлены десять подтверждающих проверок

Теперь другая условная задача: команда намерена делать отдельные утверждения по десяти исходам. Она заранее определила семейство и решила контролировать вероятность хотя бы одной ложной находки на уровне 0,05 поправкой Бонферрони. Порог одной проверки — 0,05 / 10 = 0,005.

Проверка 1: p=0,003 — проходит порог 0,005. Проверка 2: p=0,021 — не проходит. Проверка 3: p=0,140 — не проходит. Проверка 4: p=0,210 — не проходит. Проверка 5: p=0,270 — не проходит. Проверка 6: p=0,310 — не проходит. Проверка 7: p=0,440 — не проходит. Проверка 8: p=0,530 — не проходит. Проверка 9: p=0,680 — не проходит. Проверка 10: p=0,900 — не проходит.

Вторая строка была бы зелёной при одиночном пороге 0,05, но не в этом протоколе. Первая проходит статистическое правило семейства; для бизнес-решения всё равно нужны направление, размер эффекта и защитные ограничения. После просмотра нельзя уменьшить семейство до первой строки и назвать порог более удобным.

NIST предупреждает, что повторные парные сравнения не сохраняют общий уровень одиночной проверки. Метод Бонферрони — один способ контролировать заранее выбранное конечное семейство. Он может быть консервативным; конкретный метод согласуют под дизайн, а не выбирают после появления понравившегося p.

Чтобы увидеть смысл проблемы, возьмите десять независимых корректных проверок с истинными нулевыми гипотезами и порогом 0,05 каждой. Вероятность хотя бы одного ложного отклонения равна 1 − 0,95 в степени 10, примерно 40,1%. Это учебный расчёт при независимости, а не вероятность ложности конкретного вывода и не универсальное число для связанных метрик.

Примените правило решения, не выбирая удачную строку

1. Если нарушено назначение или измерение, сначала расследуйте нарушение. Статистический итог пока не принимается.
2. Если заранее выбранная основная цель не подтверждена, сохраните это решение. Exploratory становится основанием следующего исследования.
3. Если заявлено несколько подтверждающих утверждений, примените выбранное правило ко всему семейству и покажите все его результаты.
4. Если основной результат проходит, проверьте guardrails. Незначимое ухудшение не обязательно безопасно: широкий интервал может не исключать неприемлемый вред.
5. При подтверждённом эффекте и пройденных ограничениях обсуждайте внедрение только для изученных условий.

В общем разборе A/B-теста описан этап подготовки. Для текущего отчёта начните с восстановления паспорта: какие проверки были обещаны заранее и какие появились после просмотра. Эта граница важнее количества зелёных ячеек.