Два варианта могут отличаться одним элементом или набором изменений. Сравнение наборов автоматически не выявляет вклад каждого изменения.
Выбрать экспериментальный вопрос
A/B-тест может сравнивать текущую версию с редизайном. Для раздельного изучения заголовка, изображения и их взаимодействия факторный план яснее. Выбор зависит от вопроса и ресурсов для полезной точности.
Построить полный факторный план
Вымышленный пример скрещивает два заголовка и два изображения, создавая четыре ячейки. Полный план содержит все комбинации выбранных уровней. Основные эффекты и взаимодействие можно изучать, если позволяют протокол и выборка; одного скрещивания недостаточно.
| Ячейка | Заголовок | Изображение |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
Планировать анализ и измерительную способность
Заранее определите распределение, сравнения, размер эффекта и учёт множественных проверок. Больше ячеек не означает лучшее решение. При нехватке данных сузьте вопрос или примите большую неопределённость, а не объявляйте выигрышную комбинацию.
Источники и проверка
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
Определите решение до прочтения теста.
Укажите гипотезу, популяцию, единицу назначения и основной показатель до начала тестирования. Изменения в середине теста или повторный просмотр могут изменить интерпретацию. Также проверьте такие параметры, как ошибки, качество лидов и доступность, даже если коэффициент конверсии кажется лучше.
- Определите правила остановки и наименьшее значимое изменение.
- Проверьте стабильность назначения и отсутствие загрязнения.
- Сохраните неблагоприятные результаты и ограничения теста.
Можно ли сохранить только выигрышный сегмент?
Изучение сегментов может подсказать новую гипотезу. Не представляйте ее как запланированное подтверждение, если она была выбрана после просмотра результатов; организуйте специальную проверку.
Первичный источник: Microsoft Research — Online experimentation. Связанный метод: прочитать практическое руководство.