Как сравнить две версии при редизайне
Сравнение при редизайне требует одинаковой логики измерений в старой и новой версии.
Изменение визуального интерфейса не должно незаметно менять само определение успешного действия.
Подготовьте параллельные версии
- 1Сверьте предложение, цены, обязательные поля и способ обработки заявки. Перечислите различия, которые входят в проверяемый редизайн.
- 2Пройдите одинаковые успешные и ошибочные отправки. В обеих версиях успех должен возникать после одного и того же подтверждения.
- 3Проверьте сохранение назначенного варианта при повторном визите и переходах внутри сайта. Исключите случайные переключения из-за кеша или клиентской навигации.
- 4До старта определите длительность наблюдения, необходимую выборку и правила остановки при технических сбоях.
Пример: разные маршруты благодарности
В учебном проекте старая страница переводит на /thanks/, а новая показывает встроенное сообщение. Если отчёт считает только посещение /thanks/, новая версия выглядит хуже даже при доставленных заявках. Команда вводит сопоставимое событие подтверждённого успеха и проверяет его до распределения посетителей.
Решение о замене
Храните версии, настройки распределения и перечень исключённых технических интервалов. Не убирайте неудобные дни только потому, что они портят результат. Если сравнение проводилось последовательно до и после, опишите изменения состава посетителей и внешних условий; вывод о причинном эффекте будет слабее.