Как сравнить две версии сложного продукта
При сравнении версий сложного продукта измеряйте правильность выбора вместе с обращениями.
Вариант, который скрывает ограничения, способен увеличить отправки и одновременно ухудшить пригодность выбранного решения.
Задайте условия эксперимента
- 1Выберите одну помощь при выборе: таблицу совместимости, пояснение параметра или пример применения. Состав ассортимента и условия заказа держите сопоставимыми.
- 2Определите, что означает корректная конфигурация. Подготовьте случаи, где продукт подходит, не подходит и требует консультации инженера.
- 3Проверьте оба интерфейса на этих случаях до запуска потока. Передавайте код конфигурации и версию страницы в данные обращения.
- 4Оценивайте выбранное событие успеха вместе с долей ошибок совместимости и нагрузкой на уточняющие звонки.
Пример: подсказка к мощности
Учебный калькулятор в варианте B поясняет, какие исходные данные нужны для расчёта мощности. Команда ожидает меньше незавершённых расчётов, но также проверяет некорректные значения. Если инструмент молча подставляет удобное число, увеличение завершений не подтверждает улучшение выбора.
Как прочитать результат
Сравните одинаковые классы задач и отделите обращения без достаточных вводных. Не объединяйте в один показатель скачивание инструкции и запрос конкретной модели. Итог теста относится к проверенной помощи и аудитории; смена ассортимента или цен во время сравнения должна быть явно указана как ограничение.