A/B 테스트는 적격 단위를 무작위로 배정해 두 변형을 비교합니다. 시험한 맥락에서 차이를 측정할 수 있지만 판매 증가나 사이트 전체로의 일반화를 보장하지 않습니다.
시작 전에 설계 정하기
배정 단위, 주 지표, 관심 있는 최소 효과와 중단 규칙을 고릅니다. 같은 사용자의 배정을 유지하고 계획과 실제 배정 비율의 차이를 조사합니다. 전체 개편을 묶어 비교할 수 있지만 각 요소의 효과를 분리하지는 못합니다.
승자를 단정하지 않고 예시 읽기
가상 사례에서 각 집단은 2000명이며 A의 구매자는 100명, B는 120명입니다. 관측 비율은 5%와 6%입니다. 추정 차이는 1퍼센트포인트, 상대적으로 20%지만 불확실성과 보호 지표를 검토해야 합니다.
| 변형 | 사용자 | 구매자 / 비율 |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
현행 도구와 기준 사용하기
Google Optimize와 Optimize 360은 2023년 9월 30일 종료됐습니다. 설계, 접근 권한과 수집 의무에 맞는 도구를 고릅니다. 1~2주가 충분한 검정력을 보장하지 않습니다. 오류, 반품과 여정 영향도 확인합니다.
출처와 검증
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
제품 페이지에서 오류를 숨기지 않고 실험합니다.
제품 페이지의 전환 변화는 선택 오류, 반품 및 표시된 제안의 정확성과 함께 고려해야 합니다. 클릭 수는 많지만 잘못된 구매가 더 많은 변형이 반드시 더 좋은 것은 아닙니다.
- 한 고객이 모순된 제안을 보지 않도록 할당을 안정적으로 유지합니다.
- 장바구니 담기, 구매, 포기 및 변형 오류를 개별적으로 추적합니다.
- 두 변형 모두에 대해 모바일에서 이미지, 가격 및 재고 여부를 확인합니다.
1차 자료: Microsoft Research — Online experimentation. 관련 방법: 실무 가이드 읽기.