A/Bテストは対象単位を無作為に割り当て、二つの案を比較します。試した状況の差を測定できますが、売上増加やサイト全体への適用を保証しません。
開始前に設計を決める
割当単位、主指標、検出したい最小の効果、停止規則を選びます。同じユーザーの割当を一貫させ、予定と実際の割当比率のずれを調べます。全面改修を一括比較できますが、各要素の効果は分離できません。
勝者を決めつけずに例を読む
架空例では各群2000ユーザーで、購入者はAで100人、Bで120人です。観測率は5％と6％、推定差は1パーセントポイント、相対では20％です。不確実性と悪化を監視する指標の確認が必要です。
| 案 | ユーザー | 購入者／率 |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
現行のツールと基準を使う
Google OptimizeとOptimize 360は2023年9月30日に終了しました。設計、アクセス、収集義務に適合する手段を選びます。1～2週間で十分な検出力が得られる保証はありません。エラー、返品、行動経路への影響も確認します。
出典と確認
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
商品ページでの実験は、悪影響を隠蔽することなく実施する。
商品ページのコンバージョン変化は、選択エラー、返品、および表示されたオファーの正確性と併せて分析する必要がある。クリック数は増えても誤った購入が増えるバリエーションが、必ずしも優れているとは限らない。
- 顧客が矛盾するオファーを目にしないように、割り当てを安定させる。
- カートに追加、購入、離脱、およびバリエーションエラーを個別に追跡する。
- 両方のバリエーションについて、モバイル端末で画像、価格、在庫状況を確認する。
一次資料：Microsoft Research — Online experimentation. 関連する方法：実践ガイドを読む.