リソース · 26

適切な意思決定を支援するA/Bテストを実施する。

バリアントを比較する前に、仮説、割り当て、主要指標、ガードレールを明確にする。

更新済み · 13 min

同じ黒い測定装置2台、真ちゅうのランプ、えんじ色のノートがある架空の無人測定室 AIで生成した編集用イラスト

このガイドが達成するのに役立つこと

  • プロトコルの事前登録
  • 割り当ての確認
  • ガードレールの遵守
  • 不確実性を考慮した意思決定

クイックチェック

  • どのような仮説が反証される可能性があるか?
  • どのユニットが変異体を受け取るか?
  • 観察された割り当ては計画と一致しているか?
  • どの有害事象が一時停止を必要とするか?
  • 結果が判明する前に期間とセグメントが設定されていたか?

手順

  1. 1

    提案された変更内容を明記する

    想定されるメカニズム、対象集団、および主要指標への影響を記述する。 アクセシビリティとサービスのリスクの可能性について説明する。

    成果物:日付付きの仮説と成功基準

  2. 2

    割り当てを定義する

    ランダム化ユニットを選択し、訪問間で割り当てを安定させる。 開始前にボットを除外し、対象外のセグメントを指定する。

    成果物:割り当てプロトコルと除外事項

  3. 3

    計測とテスト

    両バリアントについて、曝露、コンバージョン、およびガードレールイベントを検証します。 モバイル、同意拒否、およびエラー状態をテストします。

    成果物:両ジャーニーのQA記録。

  4. 4

    サンプル比率の確認

    治療効果を読み取る前に、観測された割り当てと期待される割り当てを比較します。 不一致は、割り当て、測定、またはターゲティングの欠陥を明らかにする可能性があります。

    成果物:比率チェックと不一致の診断。

  5. 5

    計画された時間に分析を実施

    選択したウィンドウを遵守し、不確実性、主要指標、有害事象、および計画されたセグメント分析を報告します。 事後的に好ましい数値だけを選択するのではなく、予期せぬ事態を検証します。

    成果物:制限と不確実性を考慮した分析。

  6. 6

    決定とフォローアップ

    ロールアウト、中止、または別のテストの担当者を割り当てます。 ロールアウト後、効果とガードレールが一貫していることを確認します。

    成果物:アーカイブされた決定と展開後のチェック

管理指標

指標測定対象最初のアクション
割り当て期待値と観測値のサンプル比率分析前の診断
エクスポージャー実際にエクスポージャーを受けた対象ユーザー修復ターゲティング
効果主要指標の変更と不確実性計画された決定ルールの適用
ガードレールバリアントごとのエラー、遅延、および離脱率有害な処理の一時停止

よくある間違い

  • 数値が最初に好ましいように見えた時点で停止する
  • 主要指標なしで多数の指標を収集する
  • サンプル比率の不一致を無視する
  • ごくわずかなセグメントを一般的な証拠として扱う

よくある質問

サンプル比率は些細な形式的なものか?

いいえ。説明のつかない不一致は比較の信頼性を損なう可能性があります。

コンバージョンは毎日チェックすべきでしょうか?

運用モニタリングは有効ですが、結果に応じて期間や判定ルールを変更すると、計画された解釈が損なわれます。

結果が不確実な場合はどうすればよいでしょうか?

不確実性と妥当な効果量を報告し、別の実験に真の価値があるかどうかを判断してください。

A/B割り当て:データとSRM

この言語版の詳しい参照メモは英語で提供しています。

A conversion difference becomes difficult to interpret when compared groups no longer match the assignment plan. Sample Ratio Mismatch (SRM) is a data quality signal: investigate allocation before evaluating the product change. This dossier connects calculation, instrumentation and decisions without treating a p-value as overall validation of an experiment.

In 2020 Microsoft Research describes four stages where SRM can arise and an ExP reference threshold p < 0.0005 using a chi-squared test. The educational CIE reader below uses a two-sided exact binomial test for two 50/50 groups. It does not reproduce ExP’s algorithm; the historical threshold is illustrative, not a universal standard.

Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23

Four places to investigate a counting discrepancy

Four places to investigate a counting discrepancy
Stage documented by ExPCIE review questionOriginal practical investigation
AssignmentCheck the unit and rule that assign each participant.Replay the same identity across visits; compare configuration versions and change times. A reassigned unit no longer represents two independent observations.
ExecutionCompare what each variant actually allows to execute.Reproduce redirects, incomplete loading, errors and cancellation. Record when exposure is logged and whether the variant changes that moment.
Log processingReconcile inputs, exclusions and joins.Count units before and after each transformation. Check missing keys, duplicates, bot filters and telemetry loss by group.
AnalysisExamine the population retained for comparison.Compare the assigned population with the analysed subset. A filter triggered by an action available only in B selects a population affected by treatment.

Define what the two counts represent

Define what the two counts represent
Reader assumptionConsequence for interpretation
Two mutually exclusive variantsCount each unit once, in A or B. Repeated page views or events are not distinct participants.
Fixed 50/50 allocationEvery unit has the same probability of assignment to A and B. A 90/10 allocation, changing ratio or enforced quota needs a different model.
Independent trialsUnits linked through an organisation, household or reassignment can violate the binomial model. Choose the unit in the protocol.
Fixed window and filtersCompare the same interval and deduplication and eligibility rules. Do not adapt exclusions to obtain a desired result.
Bounded aggregate countsAccept 0 to 5,000 units per arm, at most 10,000 overall. This is an interface limit, not a minimum statistical power requirement.
Quality check onlyThe reader computes neither effect, conversion, power nor required sample size. A result without an SRM signal does not establish causality.

NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23

50/50割り当ての確認

Enter the two observed counts or load a fictional example. This checks allocation, not conversion counts. Calculation stays in the browser, without transmission, storage, import or export.

Under H₀, X follows Binomial(N, 0.5), with N = A + B and k = min(A, B). The reader computes p = min(1, 2 × Σᵢ₌₀ᵏ C(N,i) / 2ᴺ). This doubles the smaller tail, valid here by 50/50 symmetry. Sums are evaluated in logarithms to retain very small probabilities; displayed values are rounded.

A p-value describes how this allocation compares with the assumed model; it is not the probability that the experiment is valid or that a bug exists. A small value does not locate the cause. A large value does not establish error-free data. Repeated checks and multiple segments change false-alert control: define a suitable monitoring rule before operational use.

Eight educational examples readable without JavaScript

R01 · Two balanced groups
Two balanced groups
Count ACount BExpected reading
5050p = 1 under the model. This checks neither instrumentation, conversion nor causality.
R02 · 60/40 across ten units
60/40 across ten units
Count ACount BExpected reading
64p = 0.75390625. A visibly different ratio alone does not establish a signal at this small sample size.
R03 · Same ratio, hundredfold sample
Same ratio, hundredfold sample
Count ACount BExpected reading
600400The ratio remains 60/40, but the p-value becomes very small. Sample size changes statistical interpretation.
R04 · One empty arm, ten units
One empty arm, ten units
Count ACount BExpected reading
010p = 0.001953125 remains above the illustrative 0.0005 threshold. No alert at this threshold does not certify both arms are working.
R05 · One empty arm, twenty units
One empty arm, twenty units
Count ACount BExpected reading
020p = 0.0000019073486328125: a signal under the reference threshold. Investigate before interpreting an effect.
R06 · No observed units
No observed units
Count ACount BExpected reading
00No p-value: no observations. Show unavailable data rather than a reassuring result.
R07 · Extremely small probability
Extremely small probability
Count ACount BExpected reading
50001Displaying log₁₀(p) avoids presenting numerical rounding to zero as a mathematical impossibility.
R08 · Leading space is not repaired
Leading space is not repaired
Count ACount BExpected reading
5050Input rejected. The reader accepts only ASCII integers from 0 to 5,000, without spaces, signs, separators or redundant leading zeros.

Before resuming effect analysis

Before resuming effect analysis
Suggested checkRecord or result to retain
TimelineDiscrepancy onset, assignment versions, deployments and collection changes.
Stage countsAssigned, exposed and analysed counts; differences explained using the same unit.
IdentitiesEvidence of unit stability and explicit treatment of duplicates, session changes and sign-ins.
TelemetryComparable events, delivery errors and losses by variant, device and version.
FilteringEligibility and exclusion rules, with their position before or after treatment.
DecisionSupported cause, fix, still-usable period or new experiment, owner and review date.

Avoid artificially balancing groups by deleting observations to remove an alert. Reconstruct the data path first. An effect metric, guardrails and uncertainty remain necessary after repairing counts. In the final brief, separate the statistical signal, demonstrated cause and product decision.

Sources, editions and credits

Sources: Microsoft Research, article dated 14 September 2020; NIST/SEMATECH, binomial distribution §1.3.6.6.18. Questions, recipes and eight cases are CIE educational material, not results from real experiments. No institutional chart, logo or visual is reproduced.

Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23

SHA-256 : d28a6a66b3f1d014f3aafce6c0239b6a6477049b2d4582f06f4d6aaae651ee75

NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23

SHA-256 : d899609cde11a15ebd745f6313931da10e9511a0dff64f39b027e5b9ad103ad8

公式参照文献

参照文献はメソッドを裏付けるものです。 チェックは状況に合わせて調整してください。 これらは認証ではありません。 元の参照文献のタイトルやソース文書は別の言語で書かれている場合があります。

参照資料の確認日 .