リソース · 26
適切な意思決定を支援するA/Bテストを実施する。
バリアントを比較する前に、仮説、割り当て、主要指標、ガードレールを明確にする。
更新済み · 3 min
このガイドが達成するのに役立つこと
- プロトコルの事前登録
- 割り当ての確認
- ガードレールの遵守
- 不確実性を考慮した意思決定
クイックチェック
- どのような仮説が反証される可能性があるか？
- どのユニットが変異体を受け取るか？
- 観察された割り当ては計画と一致しているか？
- どの有害事象が一時停止を必要とするか？
- 結果が判明する前に期間とセグメントが設定されていたか？
手順
- 1
提案された変更内容を明記する
想定されるメカニズム、対象集団、および主要指標への影響を記述する。 アクセシビリティとサービスのリスクの可能性について説明する。
成果物：日付付きの仮説と成功基準
- 2
割り当てを定義する
ランダム化ユニットを選択し、訪問間で割り当てを安定させる。 開始前にボットを除外し、対象外のセグメントを指定する。
成果物：割り当てプロトコルと除外事項
- 3
計測とテスト
両バリアントについて、曝露、コンバージョン、およびガードレールイベントを検証します。 モバイル、同意拒否、およびエラー状態をテストします。
成果物：両ジャーニーのQA記録。
- 4
サンプル比率の確認
治療効果を読み取る前に、観測された割り当てと期待される割り当てを比較します。 不一致は、割り当て、測定、またはターゲティングの欠陥を明らかにする可能性があります。
成果物：比率チェックと不一致の診断。
- 5
計画された時間に分析を実施
選択したウィンドウを遵守し、不確実性、主要指標、有害事象、および計画されたセグメント分析を報告します。 事後的に好ましい数値だけを選択するのではなく、予期せぬ事態を検証します。
成果物：制限と不確実性を考慮した分析。
- 6
決定とフォローアップ
ロールアウト、中止、または別のテストの担当者を割り当てます。 ロールアウト後、効果とガードレールが一貫していることを確認します。
成果物：アーカイブされた決定と展開後のチェック
管理指標
| 指標 | 測定対象 | 最初のアクション |
|---|---|---|
| 割り当て | 期待値と観測値のサンプル比率 | 分析前の診断 |
| エクスポージャー | 実際にエクスポージャーを受けた対象ユーザー | 修復ターゲティング |
| 効果 | 主要指標の変更と不確実性 | 計画された決定ルールの適用 |
| ガードレール | バリアントごとのエラー、遅延、および離脱率 | 有害な処理の一時停止 |
よくある間違い
- 数値が最初に好ましいように見えた時点で停止する
- 主要指標なしで多数の指標を収集する
- サンプル比率の不一致を無視する
- ごくわずかなセグメントを一般的な証拠として扱う
よくある質問
サンプル比率は些細な形式的なものか？
いいえ。説明のつかない不一致は比較の信頼性を損なう可能性があります。
コンバージョンは毎日チェックすべきでしょうか？
運用モニタリングは有効ですが、結果に応じて期間や判定ルールを変更すると、計画された解釈が損なわれます。
結果が不確実な場合はどうすればよいでしょうか？
不確実性と妥当な効果量を報告し、別の実験に真の価値があるかどうかを判断してください。
公式参照文献
参照文献はメソッドを裏付けるものです。 チェックは状況に合わせて調整してください。 これらは認証ではありません。 元の参照文献のタイトルやソース文書は別の言語で書かれている場合があります。
