Ressources · 46
Fiabilité des données : diagnostiquer un tableau de bord avant de décider
Distinguer baisse réelle, données tardives, rupture de collecte et changement de définition.
· 5 min
Ce que ce guide permet
- Relier un chiffre à ses sources et transformations
- Détecter les périodes incomplètes
- Distinguer absence de donnée et valeur zéro
- Corriger sans compter deux fois
Contrôle express
- Quelle est l’heure du dernier événement traité ?
- La période affichée est-elle close ?
- Le dénominateur a-t-il changé ?
- Une valeur vide est-elle transformée en zéro ?
- Un traitement rejoué crée-t-il des doublons ?
Méthode pas à pas
- 01
Documenter le contrat
Écrivez définition, unité, dimensions, périmètre, fuseau, fréquence, source et responsable de l’indicateur. Précisez comportement des valeurs nulles, corrections tardives et changements de consentement ou de collecte. Une formule identique peut produire des chiffres incomparables sur deux populations.
Livrable : contrat de données et historique des définitions.
- 02
Tracer les transformations
Reliez événement source, stockage, filtrage, déduplication, agrégation et graphique. Notez versions, conversions de devise et règles de jointure. Vérifiez des enregistrements autorisés de bout en bout sans recopier des données sensibles dans le dossier de diagnostic.
Livrable : lignage et échantillon de rapprochement.
- 03
Mesurer trois dimensions distinctes
Suivez fraîcheur, complétude et exactitude séparément. Un traitement terminé peut avoir omis une partition ; un volume attendu peut contenir des valeurs erronées. Fixez les seuils selon la décision et les retards acceptables, sans reprendre un pourcentage universel.
Livrable : contrôles, seuils et périmètre de chaque mesure.
- 04
Qualifier une anomalie
Comparez source et sortie sur la même fenêtre ; examinez retard, événements manquants, filtre, jointure, instrument et définition. Segmentez seulement lorsque le volume reste interprétable. Signalez donnée partielle plutôt que de présenter une baisse comme un résultat établi.
Livrable : diagnostic avec faits, hypothèses et inconnues.
- 05
Réparer et rejouer
Corrigez la cause dans un périmètre limité. Rejouez avec identité stable, déduplication et contrôle du total ; vérifiez que les corrections se propagent aux exports et graphiques. Gardez les valeurs avant/après nécessaires à l’explication sans conserver inutilement les détails individuels.
Livrable : rapprochement et preuve de correction.
- 06
Rendre l’état visible
Affichez date de dernière alimentation, période couverte et limites connues. Donnez à chaque alerte un propriétaire et une action. Retestez lors d’un changement de source ou de schéma ; une moyenne globale peut masquer un segment manquant.
Livrable : statut de qualité et procédure d’escalade.
Cas de recette proposés
Scénarios fictifs à adapter dans un environnement autorisé. Ils ne décrivent aucun résultat client ni une certification.
| Situation fictive | Contrôle proposé | Preuve à conserver |
|---|---|---|
| Deux lignes sources sont rapprochées de plusieurs états pour une même clé. | Comparer les paires produites, les identifiants distincts et le total au grain attendu. Une somme plausible ne prouve pas que la population est correcte. | Versions des deux sources, condition de jointure, effectifs avant et après, cas exclus et référence indépendante. |
| Un lot arrive tard puis est rejoué après une correction. | Distinguer date de l’événement et date de traitement, vérifier l’absence de doublon et afficher ce qui reste incomplet. Une collecte récente ne prouve pas une couverture complète. | Identifiant du lot, fenêtre observée, règle de rejeu et rapprochement source-sortie. |
Exemple d’application
Situation illustrative
Situation illustrative : les commandes baissent sur un graphique alors qu’un traitement d’une région est en retard.
Décision et preuve attendue
La page indique période partielle, le traitement est repris sans doublons et le total est rapproché de la source avant toute conclusion commerciale.
Distinguer les mécanismes
| Mécanisme | Utilité | Point de vigilance |
|---|---|---|
| Fraîcheur | Les données sont-elles assez récentes ? | Dernier événement traité et retard |
| Complétude | Les éléments attendus sont-ils présents ? | Partitions et comptes rapprochés |
| Exactitude | Les valeurs correspondent-elles à la règle ? | Résultats attendus sur des cas connus |
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Retard | Écart entre événement et disponibilité | Examiner la chaîne et les files |
| Couverture | Éléments reçus rapportés aux éléments attendus | Localiser les partitions manquantes |
| Écarts de rapprochement | Différences entre source et résultat | Identifier filtre, jointure ou doublon |
Erreurs fréquentes
- Assimiler absence de donnée et zéro
- Confondre exécution réussie et résultat correct
- Changer une définition sans annotation
- Rejouer un flux sans déduplication
Questions fréquentes
Une alerte statistique prouve-t-elle une erreur ?
Non. Elle signale un écart à examiner. Un changement réel d’activité et une rupture technique peuvent produire des courbes similaires.
Quel seuil de fraîcheur choisir ?
Celui que la décision peut tolérer, avec périmètre et méthode écrits. Un suivi opérationnel et un bilan mensuel n’ont pas le même besoin.
Peut-on afficher des données partielles ?
Oui, si le périmètre et l’état partiel sont clairement visibles et si l’utilisateur peut distinguer estimation et période finalisée.
Quelle preuve conserver pour une vérification utile ?
Conservez versions des sources, grain, filtres, clés, fenêtre temporelle et rapprochement ligne à ligne. Contrôlez séparément doublons, données absentes et fraîcheur ; une moyenne ou un total identique peut masquer une population différente.
Chronologies : UTC et fuseaux
Un total révisé a besoin de son état daté
Un retard, une relivraison et une contradiction d’identifiant produisent des effets différents. Comparer des tableaux de bord demande de conserver la fenêtre, la date d’arrêt et les lignes effectivement retenues.
- Normaliser les instants avant de trier ou de calculer une durée.
- Conserver heure événement et heure d’observation séparément.
- Expliquer les écarts entre deux états sans transformer une réception tardive en nouvel événement.
Lire les 12 cas et les trois états datés →
Sources relues le · IETF · RFC 3339 · Python · PEP 495 · Python 3.12 · zoneinfo · IANA · Time Zone Database 2026e · IANA · 2026e Europe rules · OpenTelemetry · Logs Data Model
Codes syslog et preuves de collecte
Une normalisation doit conserver le sens des événements
Dans une API distribuée, un entier PRI mélange deux codes. Une conversion opaque peut perdre la famille du message ou inverser la gravité. Testez la chaîne de collecte avec des événements identifiés avant d’en déduire une fiabilité opérationnelle.
- Conserver facility, severity et valeur brute dans des champs distincts.
- Distinguer heure source, heure de réception et disponibilité dans la recherche.
- Rendre visibles les rejets, troncatures, pertes et règles de conversion.
Lire les codes syslog et tester le calcul PRI →
IANA · syslog Parameters · Registry updated 2016-04-26 · consulted 2026-10-23
ASD ACSC and partners · Best practices for event logging and threat detection · Published and reviewed 2024-08-22 · consulted 2026-10-23
Cardinalité des jointures, NULL et agrégats
Avant d’interpréter un tableau de bord, réconcilier les lignes
Un indicateur peut changer alors que les événements de départ sont identiques : un rapprochement ajoute des paires, un filtre retire des lignes, une mesure NULL réduit les contributions. Gardez un résultat de référence au grain de la source et examinez les identifiants conservés.
- Comparer COUNT(*), identifiants distincts et mesures non nulles.
- Inspecter les lignes à plusieurs correspondances avant d’additionner.
- Vérifier le prédicat actif dans ON puis WHERE sur un cas sans correspondance.
Examiner les paires et les agrégats dans l’atelier →
PostgreSQL 18 · Table expressions · PostgreSQL 18 · documentation reviewed 2026-10-23
PostgreSQL 18 · Aggregate functions · PostgreSQL 18 · documentation reviewed 2026-10-23
PostgreSQL 18 · Comparison functions · PostgreSQL 18 · documentation reviewed 2026-10-23
Références officielles
Date de consultation des références : . La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.
- Google SRE — Data Processing Pipelines
- Google SRE — Implementing SLOs
- PostgreSQL 18 · Table expressions and joins
- IETF · RFC 3339
- Python · PEP 495
- Python 3.12 · zoneinfo
- IANA · Time Zone Database 2026e
- IANA · 2026e Europe rules
- OpenTelemetry · Logs Data Model
- PostgreSQL 18 · Aggregate functions
- PostgreSQL 18 · Comparison functions
- IANA · syslog Parameters
- IETF · R. Gerhards · RFC 5424 · The Syslog Protocol
- ASD ACSC and partners · Best practices for event logging and threat detection
