二つの案は一要素でも複数の変更でも異なり得ます。変更の組合せを比較しても、各変更の寄与が自動的に分かるわけではありません。
実験の問いを選ぶ
A/Bテストで現行版と改修版を比較できます。見出し、画像、両者の交互作用を別々に調べるには要因計画がより明確です。問いと、有用な精度を得る資源に応じて選びます。
完全要因計画を作る
架空例は二つの見出しと二つの画像を交差させた四つのセルです。完全計画は選択した水準の全組合せを含みます。主効果と交互作用を調べられるかは設計と標本数次第で、交差させるだけでは保証されません。
| セル | 見出し | 画像 |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
分析と測定能力を計画する
割当、比較、効果量、多重検定の扱いを事前に決めます。セルを増やせば判断が良くなるとは限りません。データ不足なら問いを絞るか不確実性を受け入れ、勝ち組合せを断定しません。
出典と確認
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
テスト結果を読む前に、決定事項を明確に定義してください。
テスト開始前に、仮説、母集団、割り当て単位、主要指標を明記してください。テスト途中の変更や繰り返し結果を確認すると、解釈が変わる可能性があります。コンバージョン率が向上したように見えても、エラー、リードの質、アクセシビリティなどの安全対策を確認してください。
- 停止ルールと最小意味変化を定義してください。
- 割り当ての安定性と汚染がないことを確認してください。
- 不利な結果とテストの制限事項を保持してください。
勝者セグメントのみを保持できますか？
セグメントの探索によって、新たな仮説が浮かぶ場合があります。結果を見た後に選択した場合、それを計画された検証として提示しないでください。専用の検証を手配してください。
一次資料：Microsoft Research — Online experimentation. 関連する方法：実践ガイドを読む.