Мало трафика для A/B: как проверить понятность формы
Мало трафика для A/B-теста: сценарий проверки формы на пользователях, нейтральное задание, журнал наблюдений и границы выводов о конверсии.
Если полноценный A/B-тест не набирает нужный объём, можно проверить, понимает ли человек поля, условия и результат отправки. Для этого не требуется объявлять победителя по конверсии. Нужно увидеть, где выполнение реальной задачи останавливается и почему.
Экспертная проверка первого экрана помогает найти вопросы к сообщению. Наблюдение за формой решает другую задачу: участник пробует действовать, а исследователь фиксирует путь. Удобство интерфейса для его создателя здесь ничего не гарантирует.
Один вопрос на проверку
Выберите конкретную неопределённость. Например, понимает ли потенциальный покупатель, что произойдёт после запроса расчёта, и может ли отправить его без помощи. Пригласите людей, которым такая задача знакома. Коллега, знающий весь процесс, удобен для технического прогона, но имеет другую подготовку.
GOV.UK описывает модерируемую проверку как наблюдение за выполнением заданий. Руководство рекомендует ясную цель без подсказки решения. Ниже — авторский сценарий для формы запроса расчёта, его следует адаптировать к реальному предложению.
Готовый сценарий короткой сессии
Вступление: «Мы проверяем страницу и форму. Здесь нет правильных ответов, которые вы должны угадать. Можно остановиться в любой момент. Я буду наблюдать и иногда уточнять, что происходит». Заранее согласуйте запись, если она нужна, и используйте безопасную тестовую среду, чтобы не создавать настоящую заявку.
Контекст задания: «Вы подбираете услугу для небольшой компании. Вам нужно понять, подходит ли предложение, и узнать стоимость для своей ситуации. Посмотрите страницу и действуйте так, как действовали бы обычно. Для полей используйте выданные учебные данные».
Не говорите «нажмите кнопку внизу и заполните три поля»: это уже инструкция по пути. Перед стартом обозначьте, что отправка тестовая и не создаёт обязательств. Если тестируется прототип с неработающими участками, фиксируйте эти ограничения отдельно.
- Дайте человеку самостоятельно найти следующий шаг. Не называйте кнопку и не направляйте взгляд.
- Попросите озвучивать мысли. При паузе используйте нейтральное «О чём вы сейчас думаете?».
- Если участник спрашивает, что означает поле, сначала уточните его собственное понимание. Подсказку, если пришлось помочь, запишите как вмешательство.
- После отправки спросите, что произойдёт дальше, кто свяжется и какие действия теперь нужны. Сверьте понимание с фактическим процессом бизнеса.
- В конце вернитесь к непонятным эпизодам: «Что вы ожидали увидеть в этот момент?».
Записывайте действие до диагноза
Условный пример журнала. Реплики и эпизоды вымышлены. Номер участника заменяет персональные данные.
| Эпизод | Наблюдение | Возможная проблема | Что проверить |
|---|---|---|---|
| Участник А, поле компании | Спрашивает, нужен бренд или юридическое название | Неясная подпись | Уточнить ожидаемое значение и повторить задание |
| Участник Б, отправка | Нажимает повторно, не замечает подтверждение | Обратная связь не видна | Показать заметный статус и проверить повторную отправку |
| Участник В, финал | Ожидает мгновенную цену, бизнес готовит расчёт вручную | Расходятся ожидания | Объяснить следующий шаг до отправки |
GOV.UK разделяет наблюдения, выводы и действия. В этой таблице «спрашивает про название» — наблюдение; «неясная подпись» — интерпретация, которую ещё надо проверить. Сохраняйте также случаи, когда участник прошёл шаг без затруднений.
Какие решения поддерживает такой разбор
Сгруппируйте эпизоды по последствиям: человек не может завершить задачу, делает ошибку, просит помощь или просто медлит. Время полезно как описание сессии, но просьба думать вслух влияет на скорость. Не превращайте секунды из модерируемой проверки в точное время обычного пользователя.
Выберите одно исправление и повторите задачу с подходящими новыми участниками. Повторный проход тем же человеком тоже полезен для уточнения, однако он уже знает интерфейс. Зафиксируйте, что изменилось, и отличайте самостоятельное выполнение от завершения после подсказки.
Если трое участников не поняли поле, это три наблюдения в вашем исследовании. Они не доказывают, что ту же проблему имеют 60% посетителей, даже если участников было пять. Для оценки количественного эффекта нужен другой план и данные, как в разборе A/B-тестов.
Подготовьте нейтральное задание и проверьте его на коллеге до первой сессии. Если задание само раскрывает путь, перепишите его. После наблюдений сохраните три вещи: факт, гипотезу и конкретную следующую проверку.