가상 사례: 5 %에서 6 %로
적격자 1000명씩을 두 그룹에 무작위 배정합니다. 동일한 추적 기간 동안 A는 50명, B는 60명이 정의한 전환을 달성합니다. 비율은 5 %와 6 %이며 절대 차이는 1퍼센트포인트, 상대 증가는 20 %입니다.
| 가상 측정값 | A | B |
|---|---|---|
| 배정 인원 | 1000 | 1000 |
| 정의한 전환 달성 인원 | 50 | 60 |
| 전환율 | 5 % | 6 % |
| A 대비 절대 차이 (퍼센트포인트) | 0 | +1 |
| A 대비 상대 차이 | 0 % | +20 % |
해석 가능한 결과 준비하기
- 가설, 배정 단위, 주 지표, 필요 표본 수, 기간과 중단 규칙을 정합니다. 중간 분석과 다중 비교에 맞는 불확실성 평가 방법을 계획합니다.
- 배정과 일치하는 분모를 유지합니다. 노출 후 클릭한 사람만 선택하면 편향이 생길 수 있습니다. 중복, 측정 누락과 그룹 배분을 확인합니다.
- 계획한 전환 성숙 기간을 기다립니다. 인원 배분 이상은 효과 해석 전에 진단해야 합니다.
투자 수익을 약속하지 않고 결정하기
이 인원만으로 확실한 효과나 수익성 향상을 입증할 수 없습니다. 불확실성 구간, 비용, 전환 품질과 부작용을 확인합니다. 전후 비교에는 계절성이나 대상 변화가 반영될 수 있어 비교 가능한 대조군을 자동으로 대체하지 않습니다.