A/B 테스트: 효과 크기, 구간과 유의성

통계적 유의성은 결과의 진실성, 중요성이나 재현성을 보장하지 않습니다. 결정에는 설계, 효과 크기와 불확실성도 필요합니다.

p값 올바르게 해석하기

귀무가설과 검정 가정하에서 p값은 관측값 이상으로 극단적인 결과의 확률을 나타냅니다. 가설이 참일 확률이나 결과가 오직 우연으로 생겼을 확률이 아닙니다. 분석 전에 비교를 계획합니다.

넓은 구간을 갖는 가상 예시

A에서 2000명 중 100명, B에서 2000명 중 120명이 구매하면 독립 집단에 대한 미조정 정규 근사로 B−A의 95% 구간은 약 −0.41~+2.41퍼센트포인트입니다. 0을 포함하므로 확정적 우월성이나 동등성을 입증하지 않습니다.

100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))

선택한 중단 방법 지키기

고정 시점 분석에서는 반복 확인 후 처음 유리한 임계값에 도달했다고 멈추지 않습니다. 순차 방법은 이러한 분석을 고려해야 합니다. 보호 지표와 한계도 보고합니다. 큰 상대 효과도 불확실하거나 실용적으로 작을 수 있습니다.

출처와 검증

2026년 11월 1일 검증

• ASA — Statement on statistical significance and p-values
• NIST — Difference of Proportions Confidence Interval
• Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments

{
    "population": 200,
    "eligible": 80,
    "positive": 20,
    "rate_all": 0.1,
    "rate_eligible": 0.25
}