虚构示例：从5 %到6 %
两个组各有1000位随机分配的合格人员。在相同跟踪窗口内，A组有50人达成合格转化，B组有60人。转化率为5 %和6 %，绝对差为1个百分点，相对增幅为20 %。
| 虚构测量项 | A | B |
|---|---|---|
| 分配人数 | 1000 | 1000 |
| 达成合格转化的人数 | 50 | 60 |
| 转化率 | 5 % | 6 % |
| 相对A的绝对差 (百分点) | 0 | +1 |
| 相对A的相对差 | 0 % | +20 % |
为可解释的结果做好准备
- 确定假设、分配单位、主要指标、所需样本量、期限和停止规则。规划与中期分析及多重比较相容的不确定性评估方法。
- 让分母与随机分配保持一致。只选取接触广告后点击的人可能引入偏差。检查重复记录、测量缺失和组间分配。
- 等待预定的转化成熟期。人数比例异常时，先诊断原因，再解释效果。
决策时不承诺投资回报
仅凭这些人数不能证明确定的效果或更高盈利。检查不确定性区间、成本、转化质量和不良影响。活动前后比较也可能反映季节变化或人群改变，不能自动取代可比的对照组。