Как сравнить две версии после падения заявок
После резкого спада не делите посетителей между исправной и заведомо сломанной формой ради A/B-теста.
Эксперимент нужен для неопределённой гипотезы после восстановления обязательной функциональности.
Решите, что действительно сравнивать
- 1Проверьте доставку обращений, источник перехода и изменение объёма посетителей. Технический дефект воспроизведите и устраните отдельно.
- 2Выберите гипотезу об оставшемся разрыве: например, посетители неверно понимают условия первого разговора. Приведите наблюдения, которые её поддерживают.
- 3Подготовьте контроль и один вариант исправления смысла. Согласуйте метрику, качество заявки и срок обработки до запуска.
- 4Проверьте баланс групп и полноту событий. Не завершайте тест в момент первого удобного перевеса; следуйте заранее выбранному правилу анализа.
Пример: новая реклама привела другой запрос
Учебный спад совпал с расширением ключевых фраз. Вместо теста цвета кнопки команда выделяет релевантный сегмент и сравнивает пояснение границ услуги. Старый и новый рекламные потоки нельзя незаметно назначить разными версиями: тогда одновременно изменятся аудитория и страница.
Когда результата ещё нет
Отчёт может закончиться недостаточной выборкой или отсутствием обнаруженного различия. Это не означает равенства вариантов во всех условиях. Сохраните интервалы оценки, ограничения потока и ближайшую проверку; не переписывайте гипотезу задним числом, чтобы объявить восстановление конверсии победой теста.