Как сравнить две версии до запуска рекламы
До рекламы можно сравнить понятность двух прототипов, но нельзя получить конверсию реальных посетителей без наблюдений.
Сначала выберите, нужен ли качественный разбор или настоящий эксперимент на потоке.
Подготовьте сравнение
- 1Сформулируйте различие вариантов: например, обещание результата консультации. Оставьте одинаковыми цену, форму и условия, если они не входят в гипотезу.
- 2Для разбора прототипов дайте участникам одну задачу и одинаковые вводные. Меняйте порядок показа, чтобы первый экран не получал преимущество знакомства.
- 3Записывайте понимание предложения, найденные условия и выбранное действие. Не превращайте голосование за красивый вариант в прогноз продаж.
- 4Для будущего A/B-теста определите единицу распределения, событие успеха, ограничения качества и правило завершения до начала сбора данных.
Пример: два текста кнопки
Учебная команда сравнивает «Отправить» и «Получить состав работ». Второй вариант понятнее только в том случае, если после формы действительно приходит состав работ. Проверка прототипа обнаруживает несоответствие обещания процессу. Сначала исправляется результат обращения, затем готовится эксперимент.
Документ первого теста
Сохраните скриншоты вариантов, точную гипотезу и тип доказательств. Для статистического сравнения заранее оцените необходимую выборку с учётом исходной частоты события и различия, которое важно обнаружить. Если данных недостаточно, результат остаётся неопределённым; запуск рекламы сам по себе эту проблему не решает.