참고 자료 · 26

합리적인 의사 결정을 지원하는 A/B 실험 실행

변형을 비교하기 전에 가설, 할당, 주요 지표 및 가이드라인을 명시하십시오.

업데이트됨 · 12 min

동일한 검은 장치 두 개, 황동 램프와 버건디 노트가 있는 가상의 무인 측정실 AI로 생성한 편집용 일러스트

이 가이드가 달성하는 목표

  • 프로토콜 사전 등록
  • 할당 확인
  • 안전장치 준수
  • 불확실성을 고려한 결정

빠른 확인

  • 어떤 가설이 반증될 수 있는가?
  • 어떤 부서가 변형을 받는가?
  • 관찰된 할당이 계획과 일치하는가?
  • 어떤 피해가 일시 중단을 정당화하는가?
  • 결과가 나타나기 전에 기간과 세그먼트가 설정되었는가?

단계별 방법

  1. 1

    제안된 변경 사항 명시

    예상 메커니즘, 대상 인구 및 주요 지표 하나에 대한 효과를 작성하십시오. 가능한 접근성 및 서비스 위험을 설명하십시오.

    결과물: 날짜가 명시된 가설 및 성공 기준

  2. 2

    할당 정의

    무작위 배정 단위를 선택하고 방문 전반에 걸쳐 할당을 안정적으로 유지하십시오. 봇을 제외하고 출시 전에 범위에서 제외되는 세그먼트를 지정하십시오.

    결과물: 할당 프로토콜 및 제외 사항

  3. 3

    계측 및 테스트

    두 가지 변형 모두에 대해 노출, 전환 및 가드레일 이벤트를 검증합니다. 모바일, 동의 거부 및 오류 상태를 테스트합니다.

    결과물: 두 여정 모두에 대한 QA 기록.

  4. 4

    샘플 비율 확인

    치료 효과를 판독하기 전에 관찰된 할당과 예상 할당을 비교합니다. 불일치는 할당, 측정 또는 타겟팅 결함을 드러낼 수 있습니다.

    결과물: 비율 확인 및 불일치 진단.

  5. 5

    계획된 시간에 분석

    선택한 기간을 준수하고 불확실성, 주요 지표, 위해 및 계획된 세그먼트 분석을 보고합니다. 사후에 유리한 수치만 선택하지 않고 예상치 못한 상황을 검토합니다.

    결과물: 제한 사항 및 불확실성을 포함한 분석.

  6. 6

    결정 및 후속 조치

    롤아웃, 중단 또는 다른 테스트에 대한 담당자를 지정합니다. 롤아웃 후 효과 및 가드레일이 일관되게 유지되는지 확인합니다.

    결과물: 보관된 결정 및 배포 후 점검

관리 지표

지표측정 대상첫 번째 조치
과제예상 샘플 비율 대 관찰된 샘플 비율분석 전 진단
노출적격 사용자 실제 노출수정 타겟팅
영향주요 지표 변화 및 불확실성계획된 결정 규칙 적용
안전장치변형별 오류, 지연 및 포기유해한 처리 일시 중지

일반적인 실수

  • 수치가 처음으로 유리해 보일 때 중지
  • 주요 지표 없이 여러 지표 수집
  • 샘플 비율 불일치 무시
  • 작은 세그먼트를 일반적인 증거로 취급

자주 묻는 질문

샘플 비율은 사소한 형식적인 것인가?

아닙니다. 설명되지 않은 불일치는 비교를 신뢰할 수 없게 만들 수 있습니다.

전환율을 매일 확인해야 할까요?

운영 모니터링은 도움이 되지만, 결과에 따라 기간이나 결정 규칙을 변경하면 계획된 해석이 왜곡될 수 있습니다.

결과가 불확실한 경우는 어떻게 해야 할까요?

불확실성과 그럴듯한 효과 크기를 보고한 후, 추가 실험이 실질적인 가치가 있는지 판단해야 합니다.

A/B 할당: 데이터와 SRM

이 언어판의 상세 참고 설명은 영어로 제공됩니다.

A conversion difference becomes difficult to interpret when compared groups no longer match the assignment plan. Sample Ratio Mismatch (SRM) is a data quality signal: investigate allocation before evaluating the product change. This dossier connects calculation, instrumentation and decisions without treating a p-value as overall validation of an experiment.

In 2020 Microsoft Research describes four stages where SRM can arise and an ExP reference threshold p < 0.0005 using a chi-squared test. The educational CIE reader below uses a two-sided exact binomial test for two 50/50 groups. It does not reproduce ExP’s algorithm; the historical threshold is illustrative, not a universal standard.

Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23

Four places to investigate a counting discrepancy

Four places to investigate a counting discrepancy
Stage documented by ExPCIE review questionOriginal practical investigation
AssignmentCheck the unit and rule that assign each participant.Replay the same identity across visits; compare configuration versions and change times. A reassigned unit no longer represents two independent observations.
ExecutionCompare what each variant actually allows to execute.Reproduce redirects, incomplete loading, errors and cancellation. Record when exposure is logged and whether the variant changes that moment.
Log processingReconcile inputs, exclusions and joins.Count units before and after each transformation. Check missing keys, duplicates, bot filters and telemetry loss by group.
AnalysisExamine the population retained for comparison.Compare the assigned population with the analysed subset. A filter triggered by an action available only in B selects a population affected by treatment.

Define what the two counts represent

Define what the two counts represent
Reader assumptionConsequence for interpretation
Two mutually exclusive variantsCount each unit once, in A or B. Repeated page views or events are not distinct participants.
Fixed 50/50 allocationEvery unit has the same probability of assignment to A and B. A 90/10 allocation, changing ratio or enforced quota needs a different model.
Independent trialsUnits linked through an organisation, household or reassignment can violate the binomial model. Choose the unit in the protocol.
Fixed window and filtersCompare the same interval and deduplication and eligibility rules. Do not adapt exclusions to obtain a desired result.
Bounded aggregate countsAccept 0 to 5,000 units per arm, at most 10,000 overall. This is an interface limit, not a minimum statistical power requirement.
Quality check onlyThe reader computes neither effect, conversion, power nor required sample size. A result without an SRM signal does not establish causality.

NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23

50/50 할당 판독기

Enter the two observed counts or load a fictional example. This checks allocation, not conversion counts. Calculation stays in the browser, without transmission, storage, import or export.

Under H₀, X follows Binomial(N, 0.5), with N = A + B and k = min(A, B). The reader computes p = min(1, 2 × Σᵢ₌₀ᵏ C(N,i) / 2ᴺ). This doubles the smaller tail, valid here by 50/50 symmetry. Sums are evaluated in logarithms to retain very small probabilities; displayed values are rounded.

A p-value describes how this allocation compares with the assumed model; it is not the probability that the experiment is valid or that a bug exists. A small value does not locate the cause. A large value does not establish error-free data. Repeated checks and multiple segments change false-alert control: define a suitable monitoring rule before operational use.

Eight educational examples readable without JavaScript

R01 · Two balanced groups
Two balanced groups
Count ACount BExpected reading
5050p = 1 under the model. This checks neither instrumentation, conversion nor causality.
R02 · 60/40 across ten units
60/40 across ten units
Count ACount BExpected reading
64p = 0.75390625. A visibly different ratio alone does not establish a signal at this small sample size.
R03 · Same ratio, hundredfold sample
Same ratio, hundredfold sample
Count ACount BExpected reading
600400The ratio remains 60/40, but the p-value becomes very small. Sample size changes statistical interpretation.
R04 · One empty arm, ten units
One empty arm, ten units
Count ACount BExpected reading
010p = 0.001953125 remains above the illustrative 0.0005 threshold. No alert at this threshold does not certify both arms are working.
R05 · One empty arm, twenty units
One empty arm, twenty units
Count ACount BExpected reading
020p = 0.0000019073486328125: a signal under the reference threshold. Investigate before interpreting an effect.
R06 · No observed units
No observed units
Count ACount BExpected reading
00No p-value: no observations. Show unavailable data rather than a reassuring result.
R07 · Extremely small probability
Extremely small probability
Count ACount BExpected reading
50001Displaying log₁₀(p) avoids presenting numerical rounding to zero as a mathematical impossibility.
R08 · Leading space is not repaired
Leading space is not repaired
Count ACount BExpected reading
5050Input rejected. The reader accepts only ASCII integers from 0 to 5,000, without spaces, signs, separators or redundant leading zeros.

Before resuming effect analysis

Before resuming effect analysis
Suggested checkRecord or result to retain
TimelineDiscrepancy onset, assignment versions, deployments and collection changes.
Stage countsAssigned, exposed and analysed counts; differences explained using the same unit.
IdentitiesEvidence of unit stability and explicit treatment of duplicates, session changes and sign-ins.
TelemetryComparable events, delivery errors and losses by variant, device and version.
FilteringEligibility and exclusion rules, with their position before or after treatment.
DecisionSupported cause, fix, still-usable period or new experiment, owner and review date.

Avoid artificially balancing groups by deleting observations to remove an alert. Reconstruct the data path first. An effect metric, guardrails and uncertainty remain necessary after repairing counts. In the final brief, separate the statistical signal, demonstrated cause and product decision.

Sources, editions and credits

Sources: Microsoft Research, article dated 14 September 2020; NIST/SEMATECH, binomial distribution §1.3.6.6.18. Questions, recipes and eight cases are CIE educational material, not results from real experiments. No institutional chart, logo or visual is reproduced.

Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23

SHA-256 : d28a6a66b3f1d014f3aafce6c0239b6a6477049b2d4582f06f4d6aaae651ee75

NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23

SHA-256 : d899609cde11a15ebd745f6313931da10e9511a0dff64f39b027e5b9ad103ad8

공식 참조

참조는 방법을 뒷받침합니다. 상황에 맞게 검사를 조정하십시오. 이는 인증이 아닙니다. 원본 참조 제목 및 소스 문서는 다른 언어로 작성되었을 수 있습니다.

참고 자료 확인일 .