Ressources · 26
Mener une expérimentation A/B dont la décision tient
Définir hypothèse, allocation, métrique et garde-fous avant de comparer les variantes.
· 19 min
Ce que ce guide permet
- Préenregistrer le protocole
- Vérifier la répartition
- Surveiller les garde-fous
- Décider avec prudence
Contrôle express
- Quelle hypothèse précise est falsifiable ?
- Quelle unité reçoit la variante ?
- Le ratio réellement observé correspond-il au plan ?
- Quels défauts imposent une pause ?
- La durée et les segments étaient-ils définis avant de voir le résultat ?
Méthode pas à pas
- 01
Formuler le changement
Écrire le mécanisme supposé, la population visée et l’effet attendu sur une métrique principale. Décrire aussi les risques pour l’accessibilité et le service.
Livrable : hypothèse et critères de succès datés.
- 02
Définir la répartition
Choisir l’unité de randomisation et garder une affectation stable sur les visites. Exclure les robots et préciser les segments hors champ avant lancement.
Livrable : protocole d’allocation et exclusions.
- 03
Instrumenter et tester
Vérifier exposition, conversion et événements de garde-fou pour chaque variante. Tester les parcours sur mobile, avec refus de consentement et avec erreurs.
Livrable : recette des deux expériences utilisateur.
- 04
Contrôler le ratio
Comparer effectifs observés et prévus avant d’interpréter l’effet. Une divergence peut signaler un problème d’assignation, de collecte ou de ciblage.
Livrable : contrôle de ratio et diagnostic d’écart.
- 05
Analyser à échéance
Respecter la fenêtre prévue, documenter incertitude, métrique principale, effets indésirables et analyses de segments prévus. Examiner les résultats inattendus sans choisir a posteriori le seul chiffre favorable.
Livrable : analyse avec limites et incertitude.
- 06
Décider et suivre
Décider déploiement, abandon ou nouvel essai avec un propriétaire. Vérifier après déploiement que l’effet et les garde-fous restent cohérents.
Livrable : décision archivée et contrôle post-déploiement.
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Allocation | Écart entre ratio prévu et observé | Diagnostiquer avant analyse |
| Exposition | Utilisateurs éligibles réellement exposés | Réparer le ciblage |
| Effet | Variation de la métrique principale et incertitude | Décider selon protocole |
| Garde-fous | Erreurs, latence et abandon par variante | Suspendre un traitement nuisible |
Erreurs fréquentes
- Arrêter dès qu’un résultat paraît favorable
- Multiplier les métriques sans en désigner une principale
- Ignorer une divergence de ratio
- Lire un segment minuscule comme une preuve générale
Questions fréquentes
Le ratio d’échantillons est-il une formalité ?
Non. Un écart inexpliqué peut rendre la comparaison non fiable.
Faut-il regarder la conversion chaque jour ?
Le suivi opérationnel est utile, mais changer la durée ou la règle de décision en fonction des résultats fausse l’interprétation prévue.
Que faire d’un résultat incertain ?
Documenter l’incertitude, la taille d’effet plausible et décider si une nouvelle expérience a une valeur réelle.
Références officielles
Pour aller plus loin
Analyses associées
