두 변형은 한 요소나 여러 변경 묶음에서 다를 수 있습니다. 묶음을 비교해도 각 변경의 기여가 자동으로 드러나지는 않습니다.
실험 질문 선택하기
A/B 테스트는 현재 버전과 개편을 비교할 수 있습니다. 제목, 이미지와 상호작용을 따로 연구하려면 요인 설계가 더 명확합니다. 질문과 유용한 정밀도를 얻을 자원에 따라 선택합니다.
완전 요인 설계 만들기
가상 예시는 제목 두 개와 이미지 두 개를 교차해 네 셀을 만듭니다. 완전 설계는 선택한 수준의 모든 조합을 포함합니다. 주효과와 상호작용 분석은 설계와 표본 크기가 허용할 때 가능하며 교차만으로 보장되지 않습니다.
| 셀 | 제목 | 이미지 |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
분석과 측정 능력 계획하기
배정, 비교, 효과 크기와 다중 검정 처리를 사전에 정합니다. 셀이 많다고 더 좋은 결정이 되는 것은 아닙니다. 데이터가 부족하면 질문을 좁히거나 불확실성을 받아들이고 승리 조합을 단정하지 않습니다.
출처와 검증
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
테스트를 읽기 전에 결정을 정의하십시오.
시작 전에 가설, 모집단, 할당 단위 및 주요 측정 지표를 명시하십시오. 테스트 도중 변경이나 반복적인 확인은 해석을 바꿀 수 있습니다. 전환율이 더 좋아 보이더라도 오류, 리드 품질 및 접근성과 같은 안전장치를 확인하십시오.
- 중단 규칙과 최소 의미 변경 사항을 정의하십시오.
- 안정적인 할당과 오염 여부를 확인하십시오.
- 부정적인 결과와 테스트 한계를 기록하십시오.
가장 성공적인 세그먼트만 유지할 수 있습니까?
세그먼트 탐색을 통해 새로운 가설을 도출할 수 있습니다. 결과를 확인한 후 선택된 경우 계획된 확인으로 제시하지 말고 별도의 검증을 준비하십시오.
1차 자료: Microsoft Research — Online experimentation. 관련 방법: 실무 가이드 읽기.