統計的有意性は結果の真実性、重要性、再現性を保証しません。判断には設計、効果量、不確実性も必要です。
p値を正しく解釈する
p値は帰無仮説と検定の仮定の下で、観測結果以上に極端な結果の確率を表します。仮説が正しい確率でも、偶然だけで結果が生じた確率でもありません。比較は分析前に計画します。
広い区間を持つ架空例
Aで2000人中100人、Bで2000人中120人が購入した場合、独立した二群への未調整の正規近似によるB－Aの95％区間は約−0.41～+2.41パーセントポイントです。ゼロを含み、明確な優越性も同等性も証明しません。
| 指標 | 計算 | 値 |
|---|---|---|
| 絶対差（パーセントポイント） | (0.06 - 0.05) * 100 | +1 |
| 相対変化（％） | (0.06 - 0.05) / 0.05 * 100 | +20 |
| 差の95％区間（パーセントポイント、正規近似） | z = 1.96 | [-0.41; +2.41] |
100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))選んだ停止方法を守る
固定時点の分析では繰り返し確認して最初に好都合な閾値に達した時点で停止しません。逐次法はその分析を考慮する必要があります。悪化監視指標と限界も報告します。大きい相対効果でも不確かで実用上小さい場合があります。
出典と確認
- ASA — Statement on statistical significance and p-values
- NIST — Difference of Proportions Confidence Interval
- Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments
テスト可能なA/Bテストまたは多変量テストの質問を選択する。
バリエーションが増えると比較対象も増え、より明確な分析計画が必要になります。開始前に、ランダム化単位、主要指標、および実験で実際に評価できる相互作用を定義してください。
- 結果を見る前に、仮説と決定ルールを記述してください。
- バリエーション間で露出とコンバージョン収集が均等であることを確認してください。
- 効果を解釈する前に、サンプル比率とガードレールを確認してください。
一次資料：Microsoft Research — Online experimentation. 関連する方法：実践ガイドを読む.
公表数値の検証
数値には出典、日付、単位、分母が必要です。
- 引用前に出典、日付、母集団、単位、除外条件を記録します。再計算できるデータと式を保存します。
- 架空の例では2 %から3 %への変化は1パーセントポイント増加で、初期値に対して50 %増です。
- p値は仮説が真である確率ではありません。推定値の不確実性と標本抽出の限界を示します。
再現できる受け入れ事例
架空の例です。顧客や実際の観測結果を示すデータではありません。
事例の入力を見る
{
"population": 200,
"eligible": 80,
"positive": 20,
"rate_all": 0.1,
"rate_eligible": 0.25
}期待される判断
20/200は10％、20/80は25％です。公表時に採用した分母を示します。 ここでは対象の80人は200人の一部です。残る120人の除外理由を残します。10%と25%の15ポイント差は集計範囲の選択によるもので、現象の変化を示すものではありません。
検証手順
- 出典、期間、単位、対象集団を記録します。
- 候補となる各分母で再計算します。
- 数値と共に式と除外を残します。
統計的有意性は実用性を証明しますか？
いいえ。効果の大きさ、不確実性、判断の費用を検討します。
一次資料：NIST — Critical values and p values. 関連する方法：実践ガイドを読む.
A/B割り当て：データとSRM
この言語版の詳しい参照メモは英語で提供しています。
A/B tests: check allocation before deciding
An unexplained discrepancy may arise from assignment, the executed journey, logs or analysis filters. SRM supports investigation; it does not measure product improvement.
- Check intended allocation and unit stability before comparing conversions.
- Do not interpret absence of a signal as proof of overall validity.
- Document the quality check, measured effect and deployment decision separately.
Explore the allocation check and its limitations →
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23