资源 · 26
运行支持合理决策的 A/B 测试。
在比较不同版本之前，明确假设、分配、主要指标和限制条件。
已更新 · 2 min
本指南有助于实现的目标
- 预注册协议
- 检查分配情况
- 关注安全措施
- 在不确定性下做出决策
快速检查
- 哪些具体假设可能被证伪？
- 哪个单元接收变体？
- 观察到的分配是否与计划相符？
- 哪些损害需要暂停？
- 持续时间和细分是否在看到结果之前设定？
分步指南
- 1
陈述拟议的变更
写出预期机制、目标人群以及对一项主要指标的影响。 描述可能的可访问性和服务风险。
交付成果：带有日期的假设和成功标准。
- 2
定义分配
选择随机化单元，并在访问期间保持分配的稳定性。 在发布前排除机器人并指定超出范围的细分。
交付成果：分配协议和排除项。
- 3
仪器和测试
验证两种变体的暴露、转化和防护措施事件。 测试移动端、拒绝同意和错误状态。
交付成果：两种流程的质量保证记录。
- 4
检查样本比例
在读取处理效果之前，比较观察到的分配和预期分配。 不匹配可能暴露分配、测量或目标定位方面的缺陷。
交付成果：比例检查和差异诊断。
- 5
按计划时间进行分析
遵守选定的时间窗口，并报告不确定性、主要指标、危害和计划的细分市场分析。 检查意外情况，不要事后只选择有利的数字。
交付成果：包含局限性和不确定性的分析。
- 6
决策和跟进
为推广、放弃或其他测试指定负责人。 推广后，检查效果和防护措施是否保持一致。
交付成果：已存档的决策和上线后检查。
管理指标
| 指标 | 衡量内容 | 首要行动 |
|---|---|---|
| 分配 | 预期样本与观察样本比例 | 分析前进行诊断 |
| 暴露情况 | 实际暴露的合格用户 | 修复目标 |
| 影响 | 主要指标的变化和不确定性 | 应用计划的决策规则 |
| 防护措施 | 每个变体的错误、延迟和放弃情况 | 暂停有害处理 |
常见错误
- 在数值首次看起来有利时停止
- 在没有主要指标的情况下收集多个指标
- 忽略样本比例不匹配
- 将小片段视为一般证明
常见问题解答
样本比例是否只是一个次要的形式？
否。无法解释的不匹配会使比较结果不可靠。
是否应该每日检查转化率？
运营监控有所帮助，但根据结果更改持续时间或决策规则会破坏原有的解读。
如果结果不确定怎么办？
报告不确定性和可能的效应量，然后决定是否需要进行其他实验。
官方参考文献
参考文献支持该方法。 请根据您的实际情况调整检查；它们并非认证。 原始参考文献标题和源文档可能使用其他语言。
