Статистическая значимость не гарантирует истинность, важность или воспроизводимость результата. Решение должно учитывать протокол, размер эффекта и неопределённость.
Правильно понимать p-значение
При нулевой гипотезе и предпосылках теста p-значение описывает вероятность результата не менее экстремального, чем наблюдаемый. Это не вероятность истинности гипотезы и не вероятность того, что результат вызван только случайностью. Планируйте сравнения до анализа.
Вымышленный пример с широким интервалом
При 100 покупателях из 2000 в A и 120 из 2000 в B нескорректированное нормальное приближение для независимых групп даёт 95%-й интервал разницы B минус A примерно от −0,41 до +2,41 процентного пункта. Он включает ноль: пример не доказывает убедительного превосходства или эквивалентности.
| Метрика | Расчёт | Значение |
|---|---|---|
| Абсолютная разница (процентные пункты) | (0.06 - 0.05) * 100 | +1 |
| Относительное изменение (%) | (0.06 - 0.05) / 0.05 * 100 | +20 |
| 95%-й интервал разницы (процентные пункты, нормальное приближение) | z = 1.96 | [-0.41; +2.41] |
100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))Соблюдать выбранный метод остановки
При фиксированном горизонте анализа не останавливайтесь на первом благоприятном пороге после повторных просмотров. Последовательный метод должен учитывать такие анализы. Сообщайте защитные метрики и ограничения: большой относительный эффект может оставаться неопределённым или практически неважным.
Источники и проверка
- ASA — Statement on statistical significance and p-values
- NIST — Difference of Proportions Confidence Interval
- Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments
Выберите проверяемый A/B-тест или многовариантный вопрос.
Большее количество вариантов создает больше сравнений и требует более четкого плана анализа. Перед запуском определите единицу рандомизации, основной показатель и взаимодействия, которые эксперимент может фактически оценить.
- Сформулируйте гипотезу и правило принятия решения до просмотра результатов.
- Проверьте одинаковое воздействие и сбор конверсий для всех вариантов.
- Проверьте соотношение выборок и ограничения перед интерпретацией эффектов.
Первичный источник: Microsoft Research — Online experimentation. Связанный метод: прочитать практическое руководство.
Проверка опубликованных чисел
Числу нужны источник, дата, единица и явный знаменатель.
- Запишите источник, дату, совокупность, единицу и исключения до цитирования числа. Сохраните данные и формулу воспроизводимого расчёта.
- Вымышленный пример: рост с 2 % до 3 % даёт 1 процентный пункт и увеличение на 50 % относительно начала.
- P-значение не является вероятностью истинности гипотезы. Укажите неопределённость оценки и ограничения выборки.
Воспроизводимый приёмочный случай
Вымышленный пример: данные не описывают клиента или наблюдаемый результат.
Посмотреть данные случая
{
"population": 200,
"eligible": 80,
"positive": 20,
"rate_all": 0.1,
"rate_eligible": 0.25
}Ожидаемое решение
20/200 — 10 %, а 20/80 — 25 %. Укажите выбранный знаменатель. 80 подходящих участников здесь входят в число 200: сохранить причины исключения остальных 120. Разница между 10 % и 25 % составляет 15 процентных пунктов и вызвана выбором охвата, а не доказанным изменением явления.
Процедура проверки
- Запишите источник, период, единицу и подходящую совокупность.
- Пересчитайте с каждым предложенным знаменателем.
- Сохраните формулу и исключения рядом с числом.
Доказывает ли статистическая значимость практическую пользу?
Нет. Изучите размер эффекта, неопределённость и стоимость решения.
Первичный источник: NIST — Critical values and p values. Связанный метод: прочитать практическое руководство.
Распределение A/B: данные и SRM
Подробные справочные заметки в этой версии доступны на английском.
A/B tests: check allocation before deciding
An unexplained discrepancy may arise from assignment, the executed journey, logs or analysis filters. SRM supports investigation; it does not measure product improvement.
- Check intended allocation and unit stability before comparing conversions.
- Do not interpret absence of a signal as proof of overall validity.
- Document the quality check, measured effect and deployment decision separately.
Explore the allocation check and its limitations →
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23