A/B测试将符合条件的单位随机分配到两个版本。它可以测量测试情境中的差异，但不保证销售增长或结果适用于全站。
开始前确定方案
选择分配单位、主要指标、最小关注效应和停止规则。保持同一用户的分组一致，并调查计划与实际分配比例的偏差。可以整体比较改版，但无法因此分离每个组件的效果。
阅读示例，不急于宣布胜者
虚构案例中每组2000名用户，A组100名买家，B组120名。观测比例为5%和6%，估计差异是1个百分点，相对变化为20%。仍需审查不确定性及防护指标。
| 版本 | 用户 | 买家／比例 |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
使用现行工具和标准
Google Optimize与Optimize 360已于2023年9月30日关闭。选择符合方案、访问控制和收集义务的工具。一两周并不保证足够的统计功效，还需检查错误、退货及对用户路径的影响。
来源与核验
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
在产品页面上进行实验，避免隐瞒任何不利因素。
应结合选择错误、退货以及所显示报价的准确性来解读产品页面上的转化率变化。点击量更高但错误购买也更多的变体并不一定更好。
- 保持分配的稳定性，避免同一客户看到相互矛盾的报价。
- 分别跟踪加入购物车、购买、放弃购买和变体错误。
- 检查两种变体在移动设备上的图片、价格和库存情况。
一手资料：Microsoft Research — Online experimentation. 相关方法：阅读实用指南.