Как сравнить две версии корпоративной услуги
В A/B-тесте корпоративной услуги учитывайте повторные визиты и длинную квалификацию.
Один человек может возвращаться с коллегами, а пригодность заявки становится известна позже отправки формы.
Спроектируйте распределение и оценку
- 1Выберите сегмент и один элемент предложения, который меняется. Согласуйте с продажами одинаковые правила квалификации для обеих версий.
- 2Определите единицу распределения и способ сохранения варианта. Если компания попадает в обе группы через разные устройства, зафиксируйте это ограничение.
- 3Разделите ближайшее событие — доставку обращения — и отложенные результаты: квалификацию, встречу, сделку. Укажите срок дозревания данных.
- 4Сравнивайте группы с одинаковым временем наблюдения. Не противопоставляйте старые обработанные заявки новым контактам, до которых продавец ещё не дошёл.
Пример: коммерческий расчёт вместо звонка
В учебном тесте вариант B предлагает предварительный расчёт. Он собирает меньше форм, но с более полными параметрами. Чтобы оценить изменение, команда разбирает долю подходящих задач и трудозатраты менеджера, сохраняя основную метрику, выбранную до теста. Один крупный контракт не объявляется универсальным доказательством.
Итог для владельца услуги
Отчёт содержит распределение посетителей, созревшие исходы и незавершённые обращения по группам. При малом числе наблюдений допустим вывод «данных недостаточно». Не заменяйте его сравнением общей выручки, если в группы случайно попали несопоставимые компании.