참고 자료 · 26
합리적인 의사 결정을 지원하는 A/B 실험 실행
변형을 비교하기 전에 가설, 할당, 주요 지표 및 가이드라인을 명시하십시오.
업데이트됨 · 2 min
이 가이드가 달성하는 목표
- 프로토콜 사전 등록
- 할당 확인
- 안전장치 준수
- 불확실성을 고려한 결정
빠른 확인
- 어떤 가설이 반증될 수 있는가?
- 어떤 부서가 변형을 받는가?
- 관찰된 할당이 계획과 일치하는가?
- 어떤 피해가 일시 중단을 정당화하는가?
- 결과가 나타나기 전에 기간과 세그먼트가 설정되었는가?
단계별 방법
- 1
제안된 변경 사항 명시
예상 메커니즘, 대상 인구 및 주요 지표 하나에 대한 효과를 작성하십시오. 가능한 접근성 및 서비스 위험을 설명하십시오.
결과물: 날짜가 명시된 가설 및 성공 기준
- 2
할당 정의
무작위 배정 단위를 선택하고 방문 전반에 걸쳐 할당을 안정적으로 유지하십시오. 봇을 제외하고 출시 전에 범위에서 제외되는 세그먼트를 지정하십시오.
결과물: 할당 프로토콜 및 제외 사항
- 3
계측 및 테스트
두 가지 변형 모두에 대해 노출, 전환 및 가드레일 이벤트를 검증합니다. 모바일, 동의 거부 및 오류 상태를 테스트합니다.
결과물: 두 여정 모두에 대한 QA 기록.
- 4
샘플 비율 확인
치료 효과를 판독하기 전에 관찰된 할당과 예상 할당을 비교합니다. 불일치는 할당, 측정 또는 타겟팅 결함을 드러낼 수 있습니다.
결과물: 비율 확인 및 불일치 진단.
- 5
계획된 시간에 분석
선택한 기간을 준수하고 불확실성, 주요 지표, 위해 및 계획된 세그먼트 분석을 보고합니다. 사후에 유리한 수치만 선택하지 않고 예상치 못한 상황을 검토합니다.
결과물: 제한 사항 및 불확실성을 포함한 분석.
- 6
결정 및 후속 조치
롤아웃, 중단 또는 다른 테스트에 대한 담당자를 지정합니다. 롤아웃 후 효과 및 가드레일이 일관되게 유지되는지 확인합니다.
결과물: 보관된 결정 및 배포 후 점검
관리 지표
| 지표 | 측정 대상 | 첫 번째 조치 |
|---|---|---|
| 과제 | 예상 샘플 비율 대 관찰된 샘플 비율 | 분석 전 진단 |
| 노출 | 적격 사용자 실제 노출 | 수정 타겟팅 |
| 영향 | 주요 지표 변화 및 불확실성 | 계획된 결정 규칙 적용 |
| 안전장치 | 변형별 오류, 지연 및 포기 | 유해한 처리 일시 중지 |
일반적인 실수
- 수치가 처음으로 유리해 보일 때 중지
- 주요 지표 없이 여러 지표 수집
- 샘플 비율 불일치 무시
- 작은 세그먼트를 일반적인 증거로 취급
자주 묻는 질문
샘플 비율은 사소한 형식적인 것인가?
아닙니다. 설명되지 않은 불일치는 비교를 신뢰할 수 없게 만들 수 있습니다.
전환율을 매일 확인해야 할까요?
운영 모니터링은 도움이 되지만, 결과에 따라 기간이나 결정 규칙을 변경하면 계획된 해석이 왜곡될 수 있습니다.
결과가 불확실한 경우는 어떻게 해야 할까요?
불확실성과 그럴듯한 효과 크기를 보고한 후, 추가 실험이 실질적인 가치가 있는지 판단해야 합니다.
공식 참조
참조는 방법을 뒷받침합니다. 상황에 맞게 검사를 조정하십시오. 이는 인증이 아닙니다. 원본 참조 제목 및 소스 문서는 다른 언어로 작성되었을 수 있습니다.
