架空の例：5 %から6 %へ
適格者を無作為に割り当て、各群を1000人とします。同じ追跡期間で、定義したコンバージョンを達成した人はAが50人、Bが60人です。率は5 %と6 %で、絶対差は1パーセントポイント、相対増加は20 %です。
| 架空の測定値 | A | B |
|---|---|---|
| 割り当て人数 | 1000 | 1000 |
| 定義したコンバージョン達成人数 | 50 | 60 |
| コンバージョン率 | 5 % | 6 % |
| Aからの絶対差 (パーセントポイント) | 0 | +1 |
| Aからの相対差 | 0 % | +20 % |
解釈できる結果を準備する
- 仮説、割り当て単位、主要指標、必要標本数、期間、停止規則を定めます。中間解析や多重比較に対応した不確実性の評価方法を計画します。
- 割り当てに整合する分母を維持します。接触後にクリックした人だけを選ぶと偏りが生じ得ます。重複、測定欠損、群の配分を確認します。
- 計画したコンバージョン確定期間を待ちます。人数配分の異常は効果を解釈する前に診断します。
投資収益を約束せず判断する
この人数だけでは確実な効果や収益性向上を証明できません。不確実性の区間、費用、コンバージョンの質、悪影響を確認します。実施前後の比較は季節性や対象者の変化も反映し得るため、比較可能な対照群を自動的に代替しません。