Гипотезы для A/B-тестов
Опишите страницу и проблему — получите очередь гипотез по потенциалу, с формулировкой в проверяемом виде и указанием, какую метрику смотреть.
Главное ограничение A/B-теста не идеи, а мощность: чтобы поймать прирост в доли процента, нужны десятки тысяч посетителей. Поэтому чем меньше трафика, тем крупнее должно быть изменение. Инструмент выдаёт очередь гипотез в проверяемой форме, с механизмом, целевой метрикой и оценкой, хватит ли вам трафика.
Мало трафика — меняйте сильно
Главное ограничение A/B-теста не идеи, а мощность. Чтобы уверенно поймать прирост конверсии на десятую долю процента, нужны десятки тысяч посетителей. У большинства сайтов их нет, и тест на цвет кнопки просто никогда не досчитается до значимого результата, честно съев месяц.
Практический вывод обратный интуиции: чем меньше у вас трафика, тем крупнее должно быть изменение. Другой оффер, другая структура первого экрана, другой порядок блоков дают различие, которое видно на малой выборке. Мелкие правки оставьте тем, у кого трафик считается сотнями тысяч.
Поэтому каждая гипотеза здесь формулируется с механизмом: если сделать так, метрика изменится, потому что произойдёт вот это. Формулировка без механизма это идея, и проверить её нельзя: непонятно, что считать подтверждением.
Что инструмент намеренно не делает
Не подставляет цифры, сроки, бенчмарки и названия компаний, которых не было в вашем вводе. Если для вывода нужна цифра, которой вы не дали, в ответе будет пометка «уточнить», а не правдоподобное число. Это ограничение стоит в системном промпте и работает против главного свойства языковых моделей: складно достраивать недостающее.
Данные не сохраняются: текст уходит в модель, ответ возвращается в браузер, на стороне сайта ничего не пишется в базу. У инструмента стоит ограничение на число запросов с одного адреса, поэтому при частых прогонах он попросит подождать.