Вымышленный пример: с 5 % до 6 %
В каждую группу случайно назначено по 1000 подходящих участников. За одинаковое окно наблюдения в A целевую конверсию совершили 50 человек, в B — 60. Доли равны 5 % и 6 %: разница 1 процентный пункт, относительный рост 20 %.
| Вымышленный показатель | A | B |
|---|---|---|
| Назначенные участники | 1000 | 1000 |
| Участники с целевой конверсией | 50 | 60 |
| Доля конверсий | 5 % | 6 % |
| Абсолютная разница с A (процентные пункты) | 0 | +1 |
| Относительная разница с A | 0 % | +20 % |
Подготовьте интерпретируемый результат
- Задайте гипотезу, единицу назначения, основной показатель, нужную выборку, горизонт и правило остановки. Выберите метод неопределённости с учётом промежуточных анализов и множественных сравнений.
- Согласуйте знаменатель с назначением. Отбор только кликнувших после показа способен внести смещение. Проверьте дубли, потери измерения и распределение групп.
- Дождитесь предусмотренного созревания конверсий. Аномальное соотношение групп требует диагностики до интерпретации эффекта.
Принимайте решение без обещаний окупаемости
Эти числа сами по себе не доказывают достоверный эффект или рост прибыльности. Изучите интервалы неопределённости, затраты, качество конверсий и нежелательные последствия. Сравнение до/после может отражать сезонность или смену аудитории и не заменяет автоматически сопоставимую контрольную группу.