A/B-тест сравнивает варианты со случайным распределением подходящих единиц. Он может измерить разницу в проверяемых условиях, но не гарантирует рост продаж или переносимость на весь сайт.
Определить протокол до запуска
Выберите единицу распределения, основную метрику, минимальный интересующий эффект и правило остановки. Сохраняйте группу пользователя и исследуйте расхождения планового и фактического распределения. Редизайн можно сравнить целиком, но это не выделяет эффект каждого компонента.
Читать пример, не объявляя победителя
В вымышленном примере в каждой группе 2000 пользователей: 100 покупателей в A и 120 в B. Наблюдаемые доли — 5 % и 6 %. Оценённая разница — 1 процентный пункт, или 20 % относительно A; ещё нужно изучить неопределённость и защитные метрики.
| Вариант | Пользователи | Покупатели / доля |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
Использовать актуальные инструменты и критерии
Google Optimize и Optimize 360 закрылись 30 сентября 2023 года. Выбирайте решение, совместимое с протоколом, доступом и обязанностями при сборе данных. Одна-две недели не гарантируют мощности; проверяйте ошибки, возвраты и влияние на путь пользователя.
Источники и проверка
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
Экспериментируйте на страницах товаров, не скрывая вреда.
Изменение конверсии на странице товара следует рассматривать вместе с ошибками выбора, возвратами и точностью отображаемого предложения. Вариант, который приводит к большему количеству кликов, но большему количеству неправильных покупок, не обязательно лучше.
- Поддерживайте стабильное назначение, чтобы один и тот же клиент не видел противоречивых предложений.
- Отслеживайте ошибки добавления в корзину, покупки, отказа и ошибки вариантов отдельно.
- Проверяйте изображения, цены и наличие на мобильных устройствах для обоих вариантов.
Первичный источник: Microsoft Research — Online experimentation. Связанный метод: прочитать практическое руководство.