Ressources · 50
Petits échantillons : communiquer l’incertitude d’une mesure
Rendre visibles effectifs, période et limites avant d’interpréter un taux ou de recommander une action.
· 6 min
Ce que ce guide permet
- Publier les effectifs
- Distinguer variation et erreur de collecte
- Nommer les hypothèses statistiques
- Éviter une précision trompeuse
Contrôle express
- Quel est le dénominateur ?
- Une même personne compte-t-elle plusieurs fois ?
- Les périodes sont-elles comparables ?
- Qui manque dans l’échantillon ?
- Quelle différence changerait réellement la décision ?
Méthode pas à pas
- 01
Définir l’unité
Précisez si le taux porte sur visites, personnes, commandes ou réponses. Affichez nombre de succès et nombre d’unités éligibles. Une modification du périmètre peut changer le taux sans changement du comportement.
Livrable : définition et effectifs.
- 02
Vérifier collecte et sélection
Rapprochez le résultat avec les événements sources. Identifiez consentement, appareils absents, réponses volontaires, dédoublonnage et période partielle. Un intervalle statistique ne corrige ni un compteur cassé ni les personnes exclues de la collecte.
Livrable : limites de couverture.
- 03
Choisir une méthode adaptée
Pour une proportion binomiale, le NIST présente notamment l’intervalle de Wilson et une méthode exacte. Vérifiez les hypothèses d’indépendance et d’échantillonnage avant utilisation. Un intervalle calculé sur des visites répétées peut donner une impression de précision injustifiée.
Livrable : méthode, niveau et hypothèses.
- 04
Présenter taux et plage ensemble
Affichez l’estimation avec effectifs, période et méthode. Dans l’interprétation fréquentiste, le niveau de confiance décrit la procédure répétée, pas une probabilité que ce paramètre fixe soit dans cet intervalle précis.
Livrable : résultat lisible avec contexte.
- 05
Comparer sans raccourci
Ne concluez pas à une différence avec le seul chevauchement de deux intervalles. Une comparaison demande une méthode adaptée, un plan et une différence utile prédéfinie ; la surveillance répétée des résultats doit être prise en compte.
Livrable : protocole de comparaison.
- 06
Décider avec les limites
Séparez une action réversible peu coûteuse d’un engagement durable. Si le résultat est inconclusif, dites-le et indiquez quel complément serait utile. Ne choisissez pas une conclusion favorable seulement parce que le test doit se terminer.
Livrable : décision et information manquante.
Quatre situations pour éprouver la méthode
Cas pédagogiques fictifs. Chaque situation relie un signal à une vérification et à une décision limitée par les preuves ; aucun résultat client n’est représenté.
| Situation fictive | Vérification concrète | Décision et limite |
|---|---|---|
| Un KPI doit montrer son effectif utile — Un tableau affiche un taux de succès pour une équipe ayant traité peu de demandes, puis la classe à côté d’une équipe beaucoup plus sollicitée. | Afficher numérateur, dénominateur, période et définition de succès. Identifier les répétitions et les cas exclus avant toute comparaison. | Accompagner le taux de son incertitude et des limites de collecte. Une position dans un classement ne démontre pas une différence réelle de qualité. |
| Les visites répétées ne sont pas des personnes indépendantes — Un petit groupe revient souvent et produit de nombreuses visites ; le rapport traite pourtant chaque visite comme un nouveau client indépendant. | Distinguer unité observée et unité de décision. Décrire les règles d’identité autorisées et examiner la distribution des fréquences par personne ou compte lorsque possible. | Ne pas utiliser le seul nombre de visites comme effectif indépendant. Garder visibles les limites liées aux identités inconnues et aux appareils multiples. |
| Ne pas choisir une landing page sur deux conversions — Deux variantes obtiennent chacune quelques conversions et le tableau désigne un gagnant dès que leurs taux se séparent. | Conserver effectifs, règle d’affectation, période, différence utile et plan de comparaison définis avant de regarder le résultat. Vérifier la collecte et les populations. | Qualifier un résultat encore incertain et poursuivre selon le protocole prévu. Un écart observé ou deux intervalles regardés à l’œil ne suffisent pas à choisir une variante. |
| Présenter le point de départ dans le récit de données — Un récit annonce une hausse de 100 % alors que le résultat passe d’un succès sur vingt à deux sur vingt. | Afficher les deux effectifs, les taux de 5 % et 10 %, ainsi que l’écart de cinq points. Décrire la comparabilité des périodes et la méthode d’analyse. | Séparer évolution observée, incertitude et interprétation. Le doublement relatif ne démontre pas que l’action étudiée en est la cause. |
Comprendre · essayer · décider
Un taux nul ne signifie pas une absence de risque
Comparez ce que disent 0 événement sur 20 observations et 0 sur 200. L’estimation est nulle dans les deux cas ; l’incertitude reste différente.
Ce calcul concerne une proportion binomiale, avec une unité définie, des observations indépendantes et une probabilité stable dans la population étudiée. Un échantillon de convenance, des visites répétées ou une collecte incomplète peuvent invalider l’interprétation.
L’intervalle bilatéral de Wilson à 95 % donne une plage d’incertitude sous ces hypothèses. Il ne prédit pas le prochain résultat, ne corrige pas un biais de sélection et ne sert pas ici à comparer deux variantes.
Repères et preuves à conserver
| Repère | Ce que vous pouvez conclure | Preuve à conserver |
|---|---|---|
| 0 / 20 | 0 % observé ; intervalle environ 0 à 16,1 % | Aucun événement observé reste compatible avec une proportion non nulle. |
| 0 / 200 | 0 % observé ; intervalle environ 0 à 1,9 % | Plus d’observations réduisent la plage, sous les mêmes hypothèses. |
| 10 / 100 | 10 % observé ; intervalle environ 5,5 à 17,4 % | Afficher le dénominateur avant les décimales. |
Du constat à la décision
- Définir l’unité
- Vérifier indépendance et couverture
- Compter événements et observations
- Lire taux et intervalle ensemble
- Décider avec les limites
Règle de calcul
p = x / n ; d = 1 + z²/n ; centre = (p + z²/(2n))/d ; marge = z × √(p(1 − p)/n + z²/(4n²))/d ; z = 1,959963984540054. Les bornes sont centre ± marge.
Fiche de travail à réutiliser
À compléter avec vos observations autorisées. Ces champs constituent une trame de travail, pas des résultats observés.
| Champ | Information à consigner |
|---|---|
| Mesure | Succès / unités éligibles ; définition |
| Contexte | Période, population, exclusions et répétitions |
| Méthode | Estimateur, intervalle, niveau et hypothèses |
| Conclusion | Observé, inconclusif, action et complément requis |
Exemple d’application
Situation illustrative
Exemple calculé fictif : 10 succès sur 100 unités donnent 10 %. Avec Wilson à 95 % et z = 1,96, la plage est environ 5,5 % à 17,4 %, sous hypothèses binomiales.
Décision et preuve attendue
Le commentaire publie 10/100, la période et les hypothèses. Il ne promet ni le même taux futur ni une amélioration causée par une campagne.
Distinguer les mécanismes
| Mécanisme | Utilité | Point de vigilance |
|---|---|---|
| Taux observé | Décrit l’échantillon | Ne décrit pas seul la précision |
| Intervalle | Quantifie une incertitude sous hypothèses | Ne corrige pas le biais de sélection |
| Test comparatif | Examine un écart selon un plan | N’établit pas seul la valeur métier |
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Effectif éligible | Unités réellement observées | Afficher avec le taux |
| Largeur d’intervalle | Incertitude selon la méthode | Éviter une conclusion trop précise |
| Couverture | Populations incluses et absentes | Vérifier les angles morts |
Erreurs fréquentes
- Afficher plusieurs décimales sur quelques réponses
- Compter des visites comme personnes indépendantes
- Assimiler non significatif à absence d’effet
- Masquer un résultat inconclusif
Questions fréquentes
Un taux nul prouve-t-il un risque nul ?
Non. Aucun événement dans un échantillon limité ne prouve son impossibilité dans la population.
Un intervalle corrige-t-il les biais ?
Non. Il décrit une incertitude sous hypothèses ; couverture et qualité de collecte restent à vérifier.
Peut-on comparer deux taux à l’œil ?
Utilisez les effectifs et une méthode comparative adaptée. Le seul chevauchement des intervalles ne constitue pas un test.
Références officielles
Date de consultation des références : . La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.
