Ressources · 26
Mener une expérimentation A/B dont la décision tient
Définir hypothèse, allocation, métrique et garde-fous avant de comparer les variantes.
· 7 min
Ce que ce guide permet
- Préenregistrer le protocole
- Vérifier la répartition
- Surveiller les garde-fous
- Décider avec prudence
Contrôle express
- Quelle hypothèse précise est falsifiable ?
- Quelle unité reçoit la variante ?
- Le ratio réellement observé correspond-il au plan ?
- Quels défauts imposent une pause ?
- La durée et les segments étaient-ils définis avant de voir le résultat ?
Méthode pas à pas
- 01
Formuler le changement
Écrire le mécanisme supposé, la population visée et l’effet attendu sur une métrique principale. Décrire aussi les risques pour l’accessibilité et le service.
Livrable : hypothèse et critères de succès datés.
- 02
Définir la répartition
Choisir l’unité de randomisation et garder une affectation stable sur les visites. Exclure les robots et préciser les segments hors champ avant lancement.
Livrable : protocole d’allocation et exclusions.
- 03
Instrumenter et tester
Vérifier exposition, conversion et événements de garde-fou pour chaque variante. Tester les parcours sur mobile, avec refus de consentement et avec erreurs.
Livrable : recette des deux expériences utilisateur.
- 04
Contrôler le ratio
Comparer effectifs observés et prévus avant d’interpréter l’effet. Une divergence peut signaler un problème d’assignation, de collecte ou de ciblage.
Livrable : contrôle de ratio et diagnostic d’écart.
- 05
Analyser à échéance
Respecter la fenêtre prévue, documenter incertitude, métrique principale, effets indésirables et analyses de segments prévus. Examiner les résultats inattendus sans choisir a posteriori le seul chiffre favorable.
Livrable : analyse avec limites et incertitude.
- 06
Décider et suivre
Décider déploiement, abandon ou nouvel essai avec un propriétaire. Vérifier après déploiement que l’effet et les garde-fous restent cohérents.
Livrable : décision archivée et contrôle post-déploiement.
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Allocation | Écart entre ratio prévu et observé | Diagnostiquer avant analyse |
| Exposition | Utilisateurs éligibles réellement exposés | Réparer le ciblage |
| Effet | Variation de la métrique principale et incertitude | Décider selon protocole |
| Garde-fous | Erreurs, latence et abandon par variante | Suspendre un traitement nuisible |
Erreurs fréquentes
- Arrêter dès qu’un résultat paraît favorable
- Multiplier les métriques sans en désigner une principale
- Ignorer une divergence de ratio
- Lire un segment minuscule comme une preuve générale
Questions fréquentes
Le ratio d’échantillons est-il une formalité ?
Non. Un écart inexpliqué peut rendre la comparaison non fiable.
Faut-il regarder la conversion chaque jour ?
Le suivi opérationnel est utile, mais changer la durée ou la règle de décision en fonction des résultats fausse l’interprétation prévue.
Que faire d’un résultat incertain ?
Documenter l’incertitude, la taille d’effet plausible et décider si une nouvelle expérience a une valeur réelle.
Répartition A/B : données et SRM
Un écart de conversion devient difficile à interpréter si les groupes comparés ne correspondent plus au plan d’affectation. Le Sample Ratio Mismatch (SRM) est un signal de qualité des données : il invite à rechercher une anomalie de répartition avant d’évaluer le changement produit. Ce dossier relie calcul, instrumentation et décision, sans présenter une valeur p comme une validation globale de l’expérience.
Microsoft Research décrit en 2020 quatre étapes où un SRM peut apparaître et un repère ExP p < 0,0005, avec un test du chi carré. Le lecteur pédagogique CIE ci-dessous emploie un test binomial bilatéral exact pour deux groupes 50/50. Il ne reproduit pas l’algorithme d’ExP ; le repère historique est illustratif, pas une norme universelle.
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
Quatre endroits où rechercher une rupture de comptage
| Étape documentée par ExP | Question de contrôle CIE | Investigation pratique originale |
|---|---|---|
| Affectation | Contrôler l’unité et la règle qui affectent chaque participant. | Rejouer la même identité sur plusieurs visites ; comparer les versions de configuration et l’heure des changements. Une unité réaffectée ne représente plus deux observations indépendantes. |
| Exécution | Comparer ce que chaque variante laisse réellement exécuter. | Reproduire redirection, chargement incomplet, erreur et annulation. Relever à quel moment l’exposition est enregistrée et si la variante modifie ce moment. |
| Traitement des journaux | Rapprocher entrées, exclusions et jointures. | Compter les unités avant et après chaque transformation. Vérifier clés manquantes, doublons, filtres robots et pertes de télémétrie par groupe. |
| Analyse | Examiner la population retenue pour la comparaison. | Comparer le périmètre assigné au sous-ensemble analysé. Un filtre déclenché par une action rendue possible seulement en B sélectionne une population affectée par le traitement. |
Définir ce que les deux effectifs représentent
| Condition du lecteur | Conséquence pour la lecture |
|---|---|
| Deux variantes exclusives | Une même unité n’est comptée qu’une fois, dans A ou dans B. Des vues de page ou des événements répétés ne sont pas des participants distincts. |
| Allocation fixe 50/50 | Chaque unité a la même probabilité d’affectation à A et à B. Une allocation 90/10, un changement de ratio ou un quota imposé demandent un autre modèle. |
| Essais indépendants | Des unités liées par une organisation, un foyer ou une réaffectation peuvent violer le modèle binomial. Choisir l’unité selon le protocole. |
| Fenêtre et filtres fixés | Comparer le même intervalle et les mêmes règles de déduplication et d’éligibilité. Ne pas adapter les exclusions au résultat désiré. |
| Effectifs agrégés limités | Accepter 0 à 5 000 unités par bras, soit au plus 10 000 au total. Cette borne est un choix d’interface, pas un minimum de puissance statistique. |
| Contrôle de qualité uniquement | Le lecteur ne calcule ni effet, ni conversion, ni puissance, ni taille d’échantillon requise. Un résultat sans signal SRM ne démontre pas la causalité. |
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23
Lecteur de répartition 50/50
Saisir les deux effectifs observés, ou charger un exemple fictif. Le contrôle porte sur la répartition, pas sur le nombre de conversions. Les calculs restent dans le navigateur, sans transfert, stockage, import ou export.
Sous H₀ : X suit Binomiale(N, 0,5), avec N = A + B et k = min(A, B). Le lecteur calcule p = min(1, 2 × Σᵢ₌₀ᵏ C(N,i) / 2ᴺ). Il s’agit du double de la petite queue, valable ici par symétrie 50/50. Les sommes sont évaluées en logarithmes pour conserver les probabilités très faibles ; les valeurs affichées sont arrondies.
Une valeur p décrit la compatibilité de cette répartition avec le modèle supposé ; elle n’est pas la probabilité que le test soit valide ou qu’un bug existe. Une petite valeur ne localise pas la cause. Une grande valeur ne prouve pas l’absence d’erreur. Des consultations répétées et de multiples segments changent la gestion des fausses alertes : définir une règle de surveillance adaptée avant utilisation opérationnelle.
Deux entiers de 0 à 5 000 ; allocation prévue 50/50 uniquement.
Résultat
Huit exemples pédagogiques lisibles sans JavaScript
R01 · Deux groupes équilibrés
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 50 | 50 | p = 1 sous le modèle. Cela ne vérifie ni instrumentation, ni conversion, ni causalité. |
R02 · 60/40 sur dix unités
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 6 | 4 | p = 0,75390625. Un ratio visiblement différent ne suffit pas à établir un signal avec ce faible effectif. |
R03 · Même ratio, effectif centuplé
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 600 | 400 | Le ratio reste 60/40, mais la valeur p devient très faible. L’effectif change l’interprétation statistique. |
R04 · Un bras vide, dix unités
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 0 | 10 | p = 0,001953125 reste supérieur au repère illustratif 0,0005. L’absence d’alerte à ce repère ne certifie pas le fonctionnement des deux bras. |
R05 · Un bras vide, vingt unités
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 0 | 20 | p = 0,0000019073486328125 : signal sous le repère. Rechercher la cause avant d’interpréter un effet. |
R06 · Aucune unité observée
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 0 | 0 | Pas de valeur p : aucune observation. Afficher une absence de données, pas un résultat rassurant. |
R07 · Probabilité extrêmement faible
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 5000 | 1 | Afficher log₁₀(p) évite de présenter un arrondi numérique à zéro comme une impossibilité mathématique. |
R08 · Espace initial non corrigé
| Effectif A | Effectif B | Lecture attendue |
|---|---|---|
| 50 | 50 | Saisie refusée. Le lecteur accepte seulement des entiers ASCII de 0 à 5 000, sans espace, signe, séparateur ou zéro initial superflu. |
Avant de relancer l’analyse des effets
| Contrôle proposé | Pièce ou résultat à conserver |
|---|---|
| Chronologie | Début de l’écart, versions d’affectation, déploiements et modifications de collecte. |
| Comptage par étape | Effectifs assignés, exposés et analysés ; différences expliquées avec la même unité. |
| Identités | Preuve de stabilité de l’unité et traitement explicite des doublons, changements de session et connexions. |
| Télémétrie | Événements comparables, erreurs d’envoi et pertes par variante, appareil et version. |
| Filtrage | Règles d’éligibilité et d’exclusion, avec leur position avant ou après traitement. |
| Décision | Cause étayée, correctif, période encore exploitable ou nouvel essai, propriétaire et date de revue. |
Éviter de rééquilibrer artificiellement les groupes en supprimant des observations pour faire disparaître l’alerte. Reconstituer d’abord le chemin des données. Une métrique d’effet, ses garde-fous et son incertitude restent nécessaires même après réparation du comptage. Distinguer dans la note finale le signal statistique, la cause démontrée et la décision produit.
Sources, éditions et crédits
Sources : Microsoft Research, article du 14 septembre 2020 ; NIST/SEMATECH, distribution binomiale §1.3.6.6.18. Les questions, recettes et huit cas sont des créations CIE. Les cas ne sont pas des résultats d’expériences réelles. Aucun graphique, logo ou visuel institutionnel n’est reproduit.
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
SHA-256 : d28a6a66b3f1d014f3aafce6c0239b6a6477049b2d4582f06f4d6aaae651ee75
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23
SHA-256 : d899609cde11a15ebd745f6313931da10e9511a0dff64f39b027e5b9ad103ad8
Références officielles
Date de consultation des références : . La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.
Pour aller plus loin
Analyses associées
