Test A/B : taille d’effet, intervalle et significativité

À retenir

La significativité statistique ne garantit pas qu’un résultat soit vrai, important ou reproductible. Une décision doit aussi considérer le protocole, la taille de l’effet et son incertitude.

Archives de renseignement avec dossiers et cartes, sans personne Illustration éditoriale générée par IA
Dans cet article

La significativité statistique ne garantit pas qu’un résultat soit vrai, important ou reproductible. Une décision doit aussi considérer le protocole, la taille de l’effet et son incertitude.

Interpréter correctement la p-valeur

Sous l’hypothèse nulle et les hypothèses du test, une p-valeur décrit la probabilité d’un résultat au moins aussi extrême que celui observé. Ce n’est ni la probabilité que l’hypothèse soit vraie ni celle que le résultat soit dû au seul hasard. Prévoir les comparaisons avant l’analyse.

Un exemple fictif avec un intervalle large

Avec 100 acheteurs sur 2000 en A et 120 sur 2000 en B, l’intervalle à 95 % de l’écart B moins A vaut environ −0,41 à +2,41 points par approximation normale non corrigée, pour deux groupes indépendants. Il inclut zéro : cet exemple ne démontre pas une supériorité concluante ni une équivalence.

Exemple fictif : effet B − A, données identiques
MesureCalculValeur
Écart absolu (points de pourcentage)(0.06 - 0.05) * 100+1
Variation relative (%)(0.06 - 0.05) / 0.05 * 100+20
IC à 95 % de l’écart (points de pourcentage, approximation normale)z = 1.96[-0.41; +2.41]
100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))

Respecter la méthode d’arrêt choisie

Pour une analyse à horizon fixe, ne pas arrêter au premier seuil favorable après des consultations répétées. Une méthode séquentielle doit prévoir ces analyses. Rapporter aussi les garde-fous et les limites ; un effet relatif élevé peut rester incertain ou sans intérêt pratique.

Sources et vérification

A/B et multivarié : choisir une question testable

Plus de variantes produisent plus de comparaisons et exigent un plan d’analyse plus strict. Avant de lancer, définir ce qui est randomisé, la métrique principale et les interactions que l’expérience peut réellement éclairer.

  • Écrire l’hypothèse et la règle de décision avant de regarder les résultats.
  • Tester que chaque variante a la même collecte d’exposition et de conversion.
  • Contrôler le ratio d’échantillons et les garde-fous avant d’interpréter les effets.

Référence primaire : Microsoft Research — Online experimentation. Méthode connexe : consulter le guide pratique.

Distinguer pourcentage, preuve et promesse

Un chiffre gagne en utilité quand sa population, sa période et son calcul sont explicites. Retirez les statistiques introuvables et conservez les exemples pédagogiques avec leur statut fictif.

  • Phrase exacte, page et copies
  • Source d’origine, population, date et méthode
  • Numérateur, dénominateur, unité et arrondis
  • Publication, réserve ou retrait ; responsable et date

Cas de recette à reproduire

Exemple fictif : ces données ne décrivent aucun client ni résultat réel.

Voir les données du cas
{
    "population": 200,
    "eligible": 80,
    "positive": 20,
    "rate_all": 0.1,
    "rate_eligible": 0.25
}

Décision attendue

20/200 donne 10 %, tandis que 20/80 donne 25 %. Nommer le dénominateur choisi dans la publication. Les 80 personnes éligibles forment ici un sous-ensemble des 200 : garder le motif d’exclusion des 120 autres. L’écart de 15 points entre 10 % et 25 % vient du périmètre choisi, sans démontrer une évolution du phénomène.

Procédure de vérification

  1. Relevez source, période, unité et population éligible.
  2. Recalculez le taux avec chaque dénominateur envisagé.
  3. Conservez formule et exclusions à côté du chiffre publié.

NIST — Confidence intervals

Une source célèbre suffit-elle ?

Non. Vérifiez que la source porte bien sur le chiffre cité et que sa population correspond à votre phrase.

Référence primaire : NIST — Critical values and p values. Méthode connexe : consulter le guide pratique.

Répartition A/B : données et SRM

Tests A/B : contrôler le ratio avant la décision

Un déséquilibre inexpliqué peut venir de l’affectation, du parcours exécuté, des journaux ou des filtres d’analyse. Le SRM aide à enquêter ; il ne mesure pas l’amélioration du produit.

  • Vérifier le ratio prévu et la stabilité de l’unité avant toute comparaison de conversion.
  • Ne pas interpréter une absence de signal comme une preuve de validité globale.
  • Documenter séparément le contrôle de qualité, l’effet mesuré et la décision de déploiement.

Explorer le contrôle de répartition et ses limites →

Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23

NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23