Exemple fictif : de 5 % à 6 %
Deux groupes reçoivent chacun 1000 personnes éligibles assignées au hasard. Sur une même fenêtre de suivi, A compte 50 personnes avec une conversion qualifiée et B en compte 60. Les taux sont 5 % et 6 % : l’écart est de 1 point de pourcentage, soit une hausse relative de 20 %.
| Mesure du cas fictif | A | B |
|---|---|---|
| Personnes assignées | 1000 | 1000 |
| Personnes avec conversion qualifiée | 50 | 60 |
| Taux de conversion | 5 % | 6 % |
| Écart absolu par rapport à A (points de pourcentage) | 0 | +1 |
| Écart relatif par rapport à A | 0 % | +20 % |
Préparer un résultat interprétable
- Fixez hypothèse, unité d’assignation, critère principal, effectif nécessaire, horizon et règle d’arrêt. Prévoyez une méthode d’incertitude compatible avec les analyses intermédiaires et les comparaisons multiples éventuelles.
- Conservez un dénominateur cohérent avec l’assignation. Sélectionner seulement les personnes ayant cliqué après exposition peut introduire un biais. Vérifiez aussi doublons, pertes de mesure et répartition des groupes.
- Attendez la maturation des conversions prévue au protocole. Une répartition anormale des effectifs exige un diagnostic avant d’interpréter l’effet.
Décider sans promettre un retour sur investissement
Ces seuls nombres ne démontrent ni un effet certain ni un gain de rentabilité. Examinez intervalle d’incertitude, coût, qualité des conversions et effets indésirables. Un avant/après de campagne peut aussi refléter saisonnalité ou changement d’audience ; il ne remplace pas automatiquement un groupe témoin comparable.