Ressources · 76

Chiffres publiés : vérifier source, calcul et interprétation

Une procédure de relecture pour distinguer statistique documentée, exemple fictif, objectif et promesse commerciale.

· 4 min

Archives de renseignement avec dossiers et cartes, sans personne Illustration éditoriale générée par IA

Ce que ce guide permet

  • Retrouver la mesure d’origine
  • Reproduire le calcul
  • Qualifier ce qui est démontré
  • Corriger les dépendances

Contrôle express

  • Une source célèbre suffit-elle ?
  • Une petite p-valeur prouve-t-elle un gain important ?
  • Faut-il retirer tous les chiffres anciens ?

Méthode pas à pas

  1. 01

    Retrouver la mesure d’origine

    Remontez de la reprise au document qui décrit effectivement la collecte. Notez organisme, date, pays, population, taille de l’échantillon et question posée. Une citation répétée par plusieurs blogs reste une seule source. Si la méthode est absente, ne transformez pas le chiffre en fait établi.

    Livrable : référence et limites de la collecte.

  2. 02

    Reproduire le calcul

    Écrivez numérateur, dénominateur, exclusions, unité et période. Vérifiez arrondis et totaux. Exemple fictif : un taux passe de 2 % à 3 %. L’écart est de 1 point de pourcentage ; la hausse relative est de 50 %. Ces formulations décrivent le même changement, avec des impressions différentes.

    Livrable : calcul reproductible.

  3. 03

    Qualifier ce qui est démontré

    Un objectif interne n’est pas un résultat observé. Un exemple pédagogique n’est pas un cas client. Une association ne démontre pas à elle seule un effet causal. Pour une expérience, examinez protocole, taille de l’effet, incertitude et règle d’arrêt avant de commenter le résultat.

    Livrable : statut éditorial de l’affirmation.

  4. 04

    Corriger les dépendances

    Retirez ou reformulez les valeurs impossibles à justifier, sans leur substituer un nouveau pourcentage arbitraire. Cherchez les traductions, encadrés, images sociales, exports et données structurées qui reprennent la même affirmation. Conservez une note datée quand la correction change le sens pour le lecteur.

    Livrable : journal de correction et liste des copies traitées.

Cas de recette à reproduire

Exemple fictif : ces données ne décrivent aucun client ni résultat réel.

Voir les données du cas
{
    "population": 200,
    "eligible": 80,
    "positive": 20,
    "rate_all": 0.1,
    "rate_eligible": 0.25
}

Décision attendue

20/200 donne 10 %, tandis que 20/80 donne 25 %. Nommer le dénominateur choisi dans la publication. Les 80 personnes éligibles forment ici un sous-ensemble des 200 : garder le motif d’exclusion des 120 autres. L’écart de 15 points entre 10 % et 25 % vient du périmètre choisi, sans démontrer une évolution du phénomène.

Procédure de vérification

  1. Relevez source, période, unité et population éligible.
  2. Recalculez le taux avec chaque dénominateur envisagé.
  3. Conservez formule et exclusions à côté du chiffre publié.

NIST — Confidence intervals

Comprendre · essayer · décider

Paradoxe de Simpson : le total peut inverser la comparaison

Une version peut progresser dans chaque profil de demandes et afficher pourtant un taux global inférieur. Avant de conclure à une régression, examinez aussi la composition des lots.

Exemple fictif : deux lots différents de 100 demandes. Les profils courant et complexe sont définis avant l’évaluation ; un succès est une réponse correcte validée. Il ne s’agit pas d’un essai randomisé.

Comparer les profils et le total

Chaque barre utilise la même échelle de 0 à 100 %. Les effectifs sont indiqués dans le tableau.

  • Demandes courantes
    A90 %
    B95 %
  • Demandes complexes
    A20 %
    B30 %
  • Total observé
    A83 %
    B43 %

Succès et effectifs par profil

ProfilVersion A : correctes / testéesVersion B : correctes / testées
Demandes courantes 81 / 90 · 90 % 19 / 20 · 95 %
Demandes complexes 2 / 10 · 20 % 24 / 80 · 30 %
Total observé 83 / 100 · 83 % 43 / 100 · 43 %

Du constat à la décision

  1. Garder la même définition du succès et des profils
  2. Afficher succès, effectifs et composition de chaque lot
  3. Choisir une population de référence avant d’interpréter l’écart

Règle de calcul

w = p / 100 ; A(w) = 90w + 20(1 − w) ; B(w) = 95w + 30(1 − w)

Fiche de travail à réutiliser

À compléter avec vos observations autorisées. Ces champs constituent une trame de travail, pas des résultats observés.

ChampInformation à consigner
AffirmationPhrase exacte, page et copies
MesureSource d’origine, population, date et méthode
CalculNumérateur, dénominateur, unité et arrondis
DécisionPublication, réserve ou retrait ; responsable et date

Exemple d’application

Situation illustrative

Exemple fictif : une page annonce une hausse des ventes après une refonte sans lien vers l’étude ni période de comparaison.

Décision et preuve attendue

L’équipe retire le pourcentage, conserve les actions réellement décrites et publie un protocole de mesure pour évaluer sa propre refonte.

Distinguer les mécanismes

MécanismeUtilitéPoint de vigilance
Mesure observéeDécrire une population et une périodePrésenter méthode et incertitude
Exemple fictifExpliquer un calcul ou un choixLe qualifier comme fictif près des valeurs
ObjectifFixer un résultat souhaitéNe pas l’afficher comme une performance obtenue

Indicateurs de pilotage

IndicateurCe qu’il mesurePremière action
TraçabilitéChiffres décisifs reliés à leur origineTraiter les affirmations commerciales prioritaires
Corrections propagéesCopies mises à jour après une correctionContrôler langues, images et exports

Erreurs fréquentes

  • Comparer seulement les taux globaux
  • Moyenner des pourcentages sans leurs effectifs
  • Présenter une standardisation comme une preuve causale

Questions fréquentes

Une source célèbre suffit-elle ?

Non. Vérifiez que la source porte bien sur le chiffre cité et que sa population correspond à votre phrase.

Une petite p-valeur prouve-t-elle un gain important ?

Non. Elle ne mesure pas la taille de l’effet ni son intérêt économique. Examinez aussi les hypothèses du test et l’incertitude.

Faut-il retirer tous les chiffres anciens ?

Non. Une donnée historique peut rester utile si sa date et son périmètre sont visibles et si elle n’est pas présentée comme actuelle.

Références officielles