两个版本可以只改一个元素，也可以改一组元素。比较两组改动不会自动揭示每项改动的贡献。
选择实验问题
A/B测试可以比较现有版本与改版。若要分别研究标题、图片及交互作用，析因设计更明确。选择取决于问题和取得有效精度所需的资源。
建立全析因设计
虚构示例将两个标题与两张图片交叉，得到四个单元。完整设计包括所选水平的全部组合。能否分析主效应与交互作用，取决于方案和样本量，而非仅仅进行交叉。
| 单元 | 标题 | 图片 |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
规划分析和测量能力
事先明确分配、比较、效应大小及多重检验处理。更多单元不自动带来更好决策。数据不足时应缩小问题或接受更大不确定性，而非宣布胜出组合。
来源与核验
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
在阅读测试结果前明确决策
在测试启动前，明确假设、目标人群、分配单元和主要指标。测试过程中的更改或反复查看可能会影响结果的解读。即使转化率看起来有所提高，也应检查诸如错误、线索质量和可访问性等安全措施。
- 定义停止规则和最小有效更改。
- 检查分配的稳定性以及是否存在污染。
- 保留不利结果和测试局限性。
是否只能保留效果最佳的细分群体？
探索细分群体可能会提出新的假设。如果在查看结果后选择新的假设，请勿将其作为计划内的确认结果；应安排专门的验证。
一手资料：Microsoft Research — Online experimentation. 相关方法：阅读实用指南.