Ressources · 50
Petits échantillons : communiquer l’incertitude d’une mesure
Rendre visibles effectifs, période et limites avant d’interpréter un taux ou de recommander une action.
· 3 min
Ce que ce guide permet
- Publier les effectifs
- Distinguer variation et erreur de collecte
- Nommer les hypothèses statistiques
- Éviter une précision trompeuse
Contrôle express
- Quel est le dénominateur ?
- Une même personne compte-t-elle plusieurs fois ?
- Les périodes sont-elles comparables ?
- Qui manque dans l’échantillon ?
- Quelle différence changerait réellement la décision ?
Méthode pas à pas
- 01
Définir l’unité
Précisez si le taux porte sur visites, personnes, commandes ou réponses. Affichez nombre de succès et nombre d’unités éligibles. Une modification du périmètre peut changer le taux sans changement du comportement.
Livrable : définition et effectifs.
- 02
Vérifier collecte et sélection
Rapprochez le résultat avec les événements sources. Identifiez consentement, appareils absents, réponses volontaires, dédoublonnage et période partielle. Un intervalle statistique ne corrige ni un compteur cassé ni les personnes exclues de la collecte.
Livrable : limites de couverture.
- 03
Choisir une méthode adaptée
Pour une proportion binomiale, le NIST présente notamment l’intervalle de Wilson et une méthode exacte. Vérifiez les hypothèses d’indépendance et d’échantillonnage avant utilisation. Un intervalle calculé sur des visites répétées peut donner une impression de précision injustifiée.
Livrable : méthode, niveau et hypothèses.
- 04
Présenter taux et plage ensemble
Affichez l’estimation avec effectifs, période et méthode. Dans l’interprétation fréquentiste, le niveau de confiance décrit la procédure répétée, pas une probabilité que ce paramètre fixe soit dans cet intervalle précis.
Livrable : résultat lisible avec contexte.
- 05
Comparer sans raccourci
Ne concluez pas à une différence avec le seul chevauchement de deux intervalles. Une comparaison demande une méthode adaptée, un plan et une différence utile prédéfinie ; la surveillance répétée des résultats doit être prise en compte.
Livrable : protocole de comparaison.
- 06
Décider avec les limites
Séparez une action réversible peu coûteuse d’un engagement durable. Si le résultat est inconclusif, dites-le et indiquez quel complément serait utile. Ne choisissez pas une conclusion favorable seulement parce que le test doit se terminer.
Livrable : décision et information manquante.
Fiche de travail à réutiliser
À compléter avec vos observations autorisées. Ces champs constituent une trame de travail, pas des résultats observés.
| Champ | Information à consigner |
|---|---|
| Mesure | Succès / unités éligibles ; définition |
| Contexte | Période, population, exclusions et répétitions |
| Méthode | Estimateur, intervalle, niveau et hypothèses |
| Conclusion | Observé, inconclusif, action et complément requis |
Exemple d’application
Situation illustrative
Exemple calculé fictif : 10 succès sur 100 unités donnent 10 %. Avec Wilson à 95 % et z = 1,96, la plage est environ 5,5 % à 17,4 %, sous hypothèses binomiales.
Décision et preuve attendue
Le commentaire publie 10/100, la période et les hypothèses. Il ne promet ni le même taux futur ni une amélioration causée par une campagne.
Distinguer les mécanismes
| Mécanisme | Utilité | Point de vigilance |
|---|---|---|
| Taux observé | Décrit l’échantillon | Ne décrit pas seul la précision |
| Intervalle | Quantifie une incertitude sous hypothèses | Ne corrige pas le biais de sélection |
| Test comparatif | Examine un écart selon un plan | N’établit pas seul la valeur métier |
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Effectif éligible | Unités réellement observées | Afficher avec le taux |
| Largeur d’intervalle | Incertitude selon la méthode | Éviter une conclusion trop précise |
| Couverture | Populations incluses et absentes | Vérifier les angles morts |
Erreurs fréquentes
- Afficher plusieurs décimales sur quelques réponses
- Compter des visites comme personnes indépendantes
- Assimiler non significatif à absence d’effet
- Masquer un résultat inconclusif
Questions fréquentes
Un taux nul prouve-t-il un risque nul ?
Non. Aucun événement dans un échantillon limité ne prouve son impossibilité dans la population.
Un intervalle corrige-t-il les biais ?
Non. Il décrit une incertitude sous hypothèses ; couverture et qualité de collecte restent à vérifier.
Peut-on comparer deux taux à l’œil ?
Utilisez les effectifs et une méthode comparative adaptée. Le seul chevauchement des intervalles ne constitue pas un test.
Références officielles
Références consultées le 2 octobre 2026. La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.
Pour aller plus loin
Analyses associées
