Ressources · 90
Données synthétiques : vérifier utilité et confidentialité
Évaluer les données générées avant de les partager ou de les utiliser pour entraîner un modèle.
· 6 min
Ce que ce guide permet
- Définir ce qui doit être préservé
- Cartographier ce qui peut être révélé
- Séparer construction et évaluation
- Éprouver les risques de divulgation
- Décider du mode de partage
- Rendre la comparaison reproductible
- Réexaminer les sorties cumulées
Contrôle express
- Synthétique signifie-t-il anonyme ?
- Faut-il garder les cas rares ?
- Une métrique suffit-elle ?
- Une faible proximité avec les lignes sources prouve-t-elle l’anonymat ?
- Peut-on valider chaque export indépendamment ?
Méthode pas à pas
- 01
Définir ce qui doit être préservé
Choisissez une tâche : tester un formulaire, comparer un algorithme ou reproduire des distributions. Consignez variables, relations et cas rares utiles. Une ressemblance visuelle entre tableaux ne suffit pas à établir l’utilité.
Livrable : Spécification des variables et cas utiles.
- 02
Cartographier ce qui peut être révélé
Identifiez données sources, accès du générateur, identifiants directs et combinaisons rares. Remplacer les noms relève souvent de la pseudonymisation. Le mot synthétique ne démontre pas à lui seul une anonymisation.
Livrable : Carte des sources et risques.
- 03
Séparer construction et évaluation
Conservez un jeu réel de référence autorisé hors du réglage du générateur. Comparez la tâche et les sous-populations sur une méthode fixée à l’avance, sans copier des dossiers réels dans les exemples publics.
Livrable : Protocole indépendant et versionné.
- 04
Éprouver les risques de divulgation
Dans un environnement autorisé, recherchez copies proches, valeurs rares et possibilités de rapprochement avec d’autres données. Notez hypothèses et accès supposés de l’adversaire. Un test négatif n’est pas une garantie universelle.
Livrable : Rapport des scénarios et limites.
- 05
Décider du mode de partage
Comparez publication, accès restreint et environnement protégé. Faites approuver limites, destinataires et durée. Préparez retrait et réévaluation lorsque les sources disponibles ou les techniques de rapprochement changent.
Livrable : Décision de partage et de réévaluation.
- 06
Rendre la comparaison reproductible
Fixez tâche, référence autorisée, segments et règle de réussite avant l’essai. Comparez réel et synthétique avec les mêmes entrées de contrôle, unités et fenêtres. Présentez effectifs, échecs et données manquantes par segment ; un résultat non mesuré reste inconnu. Définissez les seuils pour votre usage plutôt que d’adopter un score global universel.
Table de comparaison avec effectifs et limites par segment.
- 07
Réexaminer les sorties cumulées
Inventoriez versions diffusées, destinataires et exports de requêtes autorisées. Examinez si des informations combinées rendent un cas rare plus facile à relier ou à inférer. Une version nouvelle ne doit pas hériter automatiquement de l’accord précédent. Documentez accès, retrait et limites : retirer un téléchargement n’efface pas les copies déjà remises.
Registre de diffusion et nouvelle décision sur les combinaisons.
Scénarios fictifs de recette
Ces cas proposés ne sont pas des observations de clients. Adaptez les données, permissions et critères à votre environnement autorisé.
| Situation à provoquer | Résultat à vérifier | Preuve à conserver |
|---|---|---|
| Une combinaison rare apparaît dans un jeu synthétique. | Examiner les possibilités de liaison avec des données accessibles, sans conclure à l’anonymat sur le seul caractère généré. | Scénario de liaison, accès utilisés, résultats et limites. |
| Le modèle respecte les moyennes mais supprime un petit sous-groupe. | Comparer les résultats du cas d’usage par sous-groupe autorisé et signaler la perte d’utilité. | Définition des groupes, effectifs et écarts pertinents. |
| Un nouveau jeu est généré après changement de source. | Rejouer les contrôles d’utilité et de confidentialité avant diffusion ; ne pas réutiliser une validation ancienne comme preuve actuelle. | Version de source, protocole et décision de diffusion. |
Cas de recette à reproduire
Exemple fictif : ces données ne décrivent aucun client ni résultat réel.
Voir les données du cas
{
"synthetic": true,
"rare_source_tuple": {
"age": 97,
"postcode": "00000",
"role": "unique"
},
"same_tuple_in_output": true
}Décision attendue
Le tuple rare est conservé. Tester les possibilités de rapprochement avant d’affirmer que le jeu est anonyme.
Variantes fictives à éprouver
La moyenne du jeu synthétique est correcte, mais les petits groupes disparaissent.
Évaluer aussi les groupes et les tâches réellement prévus. Une utilité globale satisfaisante ne garantit pas des résultats fiables pour chaque sous-population.
La version publique est synthétique, mais ses fichiers de diagnostic contiennent les données sources.
Examiner tout le paquet publié : journaux, exemples, métadonnées et fichiers annexes. Le statut du tableau principal ne couvre pas automatiquement ces éléments.
Deux versions acceptables séparément révèlent une information lorsqu’on les rapproche.
Évaluer les publications conjointes et les données auxiliaires accessibles. Revoir le risque avant la nouvelle diffusion ; l’évaluation de la première version ne suffit pas.
Preuves à conserver
- Résultats d’utilité par tâche et groupe, avec limites documentées.
- Inventaire des fichiers distribués et contrôle de leur contenu.
- Versions comparées, hypothèses de rapprochement et décision de diffusion.
Référence complémentaire : NIST — SP 800-188, De-Identifying Government Datasets [EN]
Procédure de vérification
- Relevez sources, attributs rares et usages autorisés.
- Cherchez des combinaisons proches du jeu source autorisé.
- Conservez risques de rapprochement et utilité de la tâche.
- Rejouez la même tâche fictive sur une référence autorisée et le jeu synthétique ; conservez résultats et effectifs par segment.
- Rapprochez deux exports fictifs autorisés pour examiner leurs informations combinées, sans utiliser de dossiers réels dans les sorties publiques.
- Changez une variable de source ou de destinataire et vérifiez qu’une nouvelle décision documentée précède la diffusion.
Fiche de travail à réutiliser
À compléter avec vos observations autorisées. Ces champs constituent une trame de travail, pas des résultats observés.
| Champ | Information à consigner |
|---|---|
| Usage | Tâche, destinataires et variables nécessaires |
| Évaluation | Référence indépendante, segments et critères |
| Divulgation | Scénarios autorisés, résultats et limites |
| Décision | Accès, propriétaire et date de revue |
Données synthétiques : comparer les segments et les versions diffusées
Un score global peut cacher une perte d’utilité sur un petit groupe. Exemple fictif : 90 réussites sur 100 cas, mais seulement 2 sur les 10 cas d’un segment rare. Ces effectifs ne sont pas des résultats clients. Ils montrent pourquoi la décision doit conserver les dénominateurs et examiner séparément utilité et risque de divulgation.
Exemple d’application
Situation illustrative
Exemple fictif : un jeu de candidatures générées reproduit une combinaison rare de lieu et de parcours.
Décision et preuve attendue
L’équipe retire ce cas de la diffusion, teste l’utilité restante et choisit un accès restreint plutôt qu’une publication ouverte.
Distinguer les mécanismes
| Mécanisme | Utilité | Point de vigilance |
|---|---|---|
| Masquage | Retirer des identifiants évidents | Des combinaisons peuvent rester identifiantes |
| Génération synthétique | Produire des enregistrements artificiels | Évaluer mémorisation et utilité |
| Accès protégé | Limiter les utilisateurs et sorties | Vérifier aussi les exports |
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Copies proches | Ressemblances avec les sources | Examiner les dossiers concernés |
| Utilité par segment | Résultat de la tâche définie | Signaler les groupes mal représentés |
| Sorties autorisées | Exports effectivement permis | Tester les restrictions |
| Écart par segment à la référence | Différence de résultat sur une tâche et un segment définis | Afficher effectifs et sens de l’écart sans masquer les non-mesures |
| Versions de diffusion réexaminées | Versions avec décision sur risques cumulés / versions examinées | Indiquer destinataires et hypothèses d’accès |
Erreurs fréquentes
- Des combinaisons peuvent rester identifiantes
- Évaluer mémorisation et utilité
- Vérifier aussi les exports
Questions fréquentes
Synthétique signifie-t-il anonyme ?
Non. Évaluez contexte, techniques et possibilités de réidentification ; l’étiquette commerciale n’est pas une preuve.
Faut-il garder les cas rares ?
Seulement selon la tâche et le risque. Documentez le compromis et mesurez la qualité sur les populations rares.
Une métrique suffit-elle ?
Non. Utilité, confidentialité et couverture répondent à des questions différentes ; gardez leurs résultats séparés.
Une faible proximité avec les lignes sources prouve-t-elle l’anonymat ?
Non. La distance choisie, les attributs disponibles et les possibilités de rapprochement influencent le résultat. Conservez hypothèses et scénarios ; aucun score isolé ne remplace l’évaluation du contexte.
Peut-on valider chaque export indépendamment ?
Il faut aussi examiner ce que plusieurs exports ou versions révèlent ensemble. Le périmètre de diffusion et les informations accessibles aux destinataires font partie de la décision.
Références officielles
Date de consultation des références : . La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.
