La significativité statistique ne garantit pas qu’un résultat soit vrai, important ou reproductible. Une décision doit aussi considérer le protocole, la taille de l’effet et son incertitude.
Interpréter correctement la p-valeur
Sous l’hypothèse nulle et les hypothèses du test, une p-valeur décrit la probabilité d’un résultat au moins aussi extrême que celui observé. Ce n’est ni la probabilité que l’hypothèse soit vraie ni celle que le résultat soit dû au seul hasard. Prévoir les comparaisons avant l’analyse.
Un exemple fictif avec un intervalle large
Avec 100 acheteurs sur 2000 en A et 120 sur 2000 en B, l’intervalle à 95 % de l’écart B moins A vaut environ −0,41 à +2,41 points par approximation normale non corrigée, pour deux groupes indépendants. Il inclut zéro : cet exemple ne démontre pas une supériorité concluante ni une équivalence.
| Mesure | Calcul | Valeur |
|---|---|---|
| Écart absolu (points de pourcentage) | (0.06 - 0.05) * 100 | +1 |
| Variation relative (%) | (0.06 - 0.05) / 0.05 * 100 | +20 |
| IC à 95 % de l’écart (points de pourcentage, approximation normale) | z = 1.96 | [-0.41; +2.41] |
100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))Respecter la méthode d’arrêt choisie
Pour une analyse à horizon fixe, ne pas arrêter au premier seuil favorable après des consultations répétées. Une méthode séquentielle doit prévoir ces analyses. Rapporter aussi les garde-fous et les limites ; un effet relatif élevé peut rester incertain ou sans intérêt pratique.
Sources et vérification
- ASA — Statement on statistical significance and p-values
- NIST — Difference of Proportions Confidence Interval
- Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments
A/B et multivarié : choisir une question testable
Plus de variantes produisent plus de comparaisons et exigent un plan d’analyse plus strict. Avant de lancer, définir ce qui est randomisé, la métrique principale et les interactions que l’expérience peut réellement éclairer.
- Écrire l’hypothèse et la règle de décision avant de regarder les résultats.
- Tester que chaque variante a la même collecte d’exposition et de conversion.
- Contrôler le ratio d’échantillons et les garde-fous avant d’interpréter les effets.
Référence primaire : Microsoft Research — Online experimentation. Méthode connexe : consulter le guide pratique.
Distinguer pourcentage, preuve et promesse
Un chiffre gagne en utilité quand sa population, sa période et son calcul sont explicites. Retirez les statistiques introuvables et conservez les exemples pédagogiques avec leur statut fictif.
- Phrase exacte, page et copies
- Source d’origine, population, date et méthode
- Numérateur, dénominateur, unité et arrondis
- Publication, réserve ou retrait ; responsable et date
Cas de recette à reproduire
Exemple fictif : ces données ne décrivent aucun client ni résultat réel.
Voir les données du cas
{
"population": 200,
"eligible": 80,
"positive": 20,
"rate_all": 0.1,
"rate_eligible": 0.25
}Décision attendue
20/200 donne 10 %, tandis que 20/80 donne 25 %. Nommer le dénominateur choisi dans la publication. Les 80 personnes éligibles forment ici un sous-ensemble des 200 : garder le motif d’exclusion des 120 autres. L’écart de 15 points entre 10 % et 25 % vient du périmètre choisi, sans démontrer une évolution du phénomène.
Procédure de vérification
- Relevez source, période, unité et population éligible.
- Recalculez le taux avec chaque dénominateur envisagé.
- Conservez formule et exclusions à côté du chiffre publié.
Une source célèbre suffit-elle ?
Non. Vérifiez que la source porte bien sur le chiffre cité et que sa population correspond à votre phrase.
Référence primaire : NIST — Critical values and p values. Méthode connexe : consulter le guide pratique.
Répartition A/B : données et SRM
Tests A/B : contrôler le ratio avant la décision
Un déséquilibre inexpliqué peut venir de l’affectation, du parcours exécuté, des journaux ou des filtres d’analyse. Le SRM aide à enquêter ; il ne mesure pas l’amélioration du produit.
- Vérifier le ratio prévu et la stabilité de l’unité avant toute comparaison de conversion.
- Ne pas interpréter une absence de signal comme une preuve de validité globale.
- Documenter séparément le contrôle de qualité, l’effet mesuré et la décision de déploiement.
Explorer le contrôle de répartition et ses limites →
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23
