统计显著性不保证结果真实、重要或可复现。决策还必须考虑方案、效应大小及不确定性。
正确理解p值
在零假设与检验假设下，p值描述得到至少与观测结果同样极端结果的概率。它不是假设为真的概率，也不是结果仅由偶然造成的概率。应在分析前规划比较。
区间较宽的虚构示例
A组2000人中100人购买，B组2000人中120人购买。对独立两组使用未经调整的正态近似，B减A的95%区间约为−0.41到+2.41个百分点。它包含零，既不证明明确优越性，也不证明等效。
| 指标 | 计算 | 数值 |
|---|---|---|
| 绝对差异（百分点） | (0.06 - 0.05) * 100 | +1 |
| 相对变化（%） | (0.06 - 0.05) / 0.05 * 100 | +20 |
| 差异的95%区间（百分点，正态近似） | z = 1.96 | [-0.41; +2.41] |
100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))遵守选定的停止方法
固定时点分析不应在反复查看后，首次遇到有利阈值就停止。序贯方法须考虑这些分析。同时报告防护指标和局限；相对效应较大仍可能不确定或缺乏实际意义。
来源与核验
- ASA — Statement on statistical significance and p-values
- NIST — Difference of Proportions Confidence Interval
- Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments
选择可测试的 A/B 测试或多变量问题。
更多变体意味着更多比较，因此需要更清晰的分析计划。在实验启动前，应明确随机化单位、主要指标以及实验实际可评估的交互作用。
- 在查看结果之前，应先撰写假设和决策规则。
- 检查各变体的曝光量和转化率是否一致。
- 在解读结果之前，应检查样本比例和控制范围。
一手资料：Microsoft Research — Online experimentation. 相关方法：阅读实用指南.
公开数字核验
数字需要来源、日期、单位及明确分母。
- 引用前记录来源、日期、总体、单位和排除条件。保留可复算的数据及公式。
- 虚构示例：从2 %升至3 %增加1个百分点，相对初始值增长50 %。
- p值不是假设为真的概率。说明估计的不确定性和抽样局限。
可复现的验收案例
虚构示例：数据不代表客户或实际观察结果。
查看案例输入
{
"population": 200,
"eligible": 80,
"positive": 20,
"rate_all": 0.1,
"rate_eligible": 0.25
}预期判断
20/200为10%，20/80为25%。发布时说明采用的分母。 此处80名符合条件者属于200人的子集，应保留其余120人的排除理由。10%与25%相差15个百分点，来自统计范围的选择，不能证明现象发生变化。
验证步骤
- 记录来源、期间、单位及适格总体。
- 用每个拟定分母重新计算。
- 在数值旁保留公式及排除项。
统计显著能证明实际价值吗？
不能。还需考察效应大小、不确定性和决策成本。
一手资料：NIST — Critical values and p values. 相关方法：阅读实用指南.
A/B分配：数据与SRM
此语言版本的详细参考说明以英语提供。
A/B tests: check allocation before deciding
An unexplained discrepancy may arise from assignment, the executed journey, logs or analysis filters. SRM supports investigation; it does not measure product improvement.
- Check intended allocation and unit stability before comparing conversions.
- Do not interpret absence of a signal as proof of overall validity.
- Document the quality check, measured effect and deployment decision separately.
Explore the allocation check and its limitations →
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23