Aller au contenu

Données synthétiques : ce qu’elles valident, ce qu’elles ne valident pas

Un jeu synthétique éprouve une chaîne de données et ses contrôles. Il ne dit rien de la précision d’un modèle sur de vrais clients. Exemple chiffré fictif.

  • Rédaction BRAIU
  • Publié le
  • 10 min de lecture
Sommaire (6 parties)

Un modèle d’attrition obtient une excellente aire sous la courbe ROC (receiver operating characteristic), ou AUC, sur son jeu de test. Le résultat est flatteur, la présentation au comité est prête. Seulement, le jeu de test est synthétique, comme le jeu d’entraînement : les clients ont été tirés au hasard, et une règle écrite à l’avance a décidé lesquels partaient. Que mesure ce chiffre ?

Pas ce que le comité croira lire. Un jeu de données synthétiques permet de vérifier beaucoup de choses, souvent mieux que des données réelles. La précision d’un modèle sur de vrais clients n’en fait pas partie. Où passe la frontière, un exemple fictif chiffré de bout en bout le montre ; le script qui le produit est téléchargeable en fin d’article.

Deux façons de fabriquer des données

Le Contrôleur européen de la protection des données (EDPS) définit les données synthétiques comme des données artificielles, produites à partir de données d’origine et d’un modèle entraîné à en reproduire les caractéristiques et la structure[1]. Il les classe ensuite selon leur point de départ : des jeux de données réels, les connaissances réunies par des analystes, ou une combinaison des deux[1].

Pour une banque, la différence entre ces familles change tout.

Un jeu fabriqué à partir de règles et de connaissances métier ne contient aucune donnée de client. Il ne contient pas non plus le comportement des clients : ses distributions, ses corrélations et ses étiquettes sont celles que son auteur a écrites. C’est le jeu que l’on construit quand on n’a pas encore le droit de toucher aux données d’un établissement.

Un jeu produit par un modèle entraîné sur des données réelles ressemble davantage au monde. Il en hérite aussi les défauts : l’EDPS note que sa qualité dépend étroitement de celle des données d’origine et du modèle de génération, et qu’il peut reproduire les biais des données d’origine[1]. Il pose en plus une question de protection des données, traitée plus bas.

Sauf mention contraire, la suite parle de la première famille.

Ce qu’un jeu synthétique permet de vérifier

Tout ce qui dépend de la forme des données, et non du comportement de vrais clients, se teste bien sur des données synthétiques :

  • la chaîne de bout en bout, de l’ingestion des fichiers au calcul des variables, à l’entraînement et à l’affichage ;
  • le contrat de données : formats, types, identifiants uniques, valeurs admises, et ce qui se passe quand une ligne ne les respecte pas ;
  • les cas limites, que l’on fabrique à volonté : client sans aucune opération, compte clôturé en cours de mois, montant nul, opération datée du 29 février ;
  • les garde-fous d’affichage, comme un seuil en dessous duquel aucun chiffre n’apparaît, et la tenue de la chaîne en volume.

Le jeu synthétique a ici un avantage sur les données réelles : on connaît la vérité, puisqu’on l’a écrite. On sait quelles lignes sont fausses, combien il y en a et pourquoi. La liste de vérification publiée par la Commission nationale de l’informatique et des libertés (CNIL) pour le développement des systèmes d’IA va dans ce sens : elle demande de vérifier que des méthodes moins intrusives, comme l’anonymisation ou les données synthétiques, ne peuvent pas atteindre les mêmes résultats, et propose de mener une expérimentation pilote avec des données fictives, synthétiques ou anonymisées[2].

Sur des données réelles, ce défaut serait passé inaperçu. Personne ne sait d’avance quelles lignes sont fausses, et un contrôle qui signale « 50 doublons » paraît juste même quand il désigne la mauvaise moitié.

Ce qu’il ne permet pas de mesurer

La précision, l’équité et la dérive d’un modèle dépendent du comportement de vrais clients. Un jeu synthétique ne contient pas ce comportement. Il contient la règle qui a fabriqué ses étiquettes.

Une AUC qui retrouve une règle

L’AUC d’un classifieur est égale à la probabilité qu’il classe un exemple positif tiré au hasard au-dessus d’un exemple négatif tiré au hasard[3]. Sur des étiquettes synthétiques, les « positifs » sont les clients que la règle a désignés. Une AUC élevée dit donc que le modèle sait retrouver la règle à partir des variables qu’on lui donne. Si la règle n’utilise que ces variables, le résultat est presque acquis d’avance.

Le 0,913 mesure la distance entre le modèle et la règle. Cette mesure a un usage : une AUC proche de 0,5 sur ces données signalerait une jointure cassée ou une variable décalée d’un mois. Elle ne dit rien des clients d’une banque, que la règle n’a jamais vus.

Quand le vrai comportement est autre

Supposons maintenant que les vrais clients partent pour d’autres raisons que celles de la règle. Le jeu de test synthétique ne peut pas le signaler, puisqu’il obéit à la même règle que le jeu d’entraînement.

L’algorithme n’est pas en cause : réentraîné sur les bonnes étiquettes, il redevient utile. Ce qui manquait, ce sont des étiquettes observées. Le 0,817 est d’ailleurs inférieur au 0,913 : un modèle linéaire exprime mal une règle faite d’un « ou », ce qu’on n’apprend, là encore, qu’avec des départs réels.

Équité et dérive

Mesurer si un modèle se trompe davantage sur un groupe de clients suppose de connaître la composition réelle des groupes et les issues réelles. Un jeu synthétique contient les groupes que son auteur a tirés, dans les proportions qu’il a choisies. L’EDPS relève aussi que les données synthétiques peuvent ne pas couvrir certains cas atypiques présents dans les données d’origine, alors que ces cas comptent parfois plus que les points ordinaires[1].

La dérive se mesure en comparant, dans la durée, ce que le modèle annonce à ce qui arrive. Un jeu synthétique ne vieillit pas : il ne connaît ni hausse de tarifs, ni nouvelle application, ni changement de régime.

Synthétiques ne veut pas dire anonymes

La question change de nature pour la seconde famille, celle des données générées à partir de données réelles. Elle intéresse alors autant le délégué à la protection des données (DPO) que l’équipe data.

Stadler, Oprisanu et Troncoso ont publié en 2022 la première évaluation quantitative du gain de confidentialité apporté par la publication de données synthétiques[4]. Sur plusieurs modèles génératifs récents, les données synthétiques soit n’empêchent pas les attaques par inférence, soit ne conservent pas l’utilité des données ; elles n’offrent pas un meilleur compromis entre confidentialité et utilité que les techniques d’anonymisation classiques, et ce compromis est plus difficile à prévoir[4]. Les auteurs concluent que les données synthétiques sont « far from the holy grail of privacy-preserving data publishing »[4].

Le groupe de travail « Article 29 », organe consultatif européen institué par la directive 95/46/CE, a fixé en 2014 une grille d’analyse de l’anonymisation. Son avis évalue chaque technique contre trois risques : l’individualisation (isoler les enregistrements d’une personne), la corrélation (relier deux enregistrements concernant la même personne) et l’inférence, définie comme la possibilité de déduire, avec un degré de probabilité élevé, la valeur d’un attribut à partir des valeurs d’autres attributs[5]. Un jeu synthétique ne copie aucune ligne et peut pourtant échouer au troisième critère.

L’EDPS demande, pour la même raison, une évaluation de la confidentialité avant de considérer que des données synthétiques ne sont pas des données personnelles : elle mesure à quel point les personnes peuvent être identifiées et ce qu’une identification réussie révélerait de nouveau sur elles[1]. La liste de vérification de la CNIL demande, de son côté, d’évaluer l’usage de données réelles et de données synthétiques, pseudonymisées ou anonymisées[2].

Un jeu fabriqué par des règles échappe à ces questions, puisqu’aucune personne n’y figure. Il le paie par tout ce qui précède : il ne porte rien du monde réel, ni les données personnelles, ni le comportement.

Ce que l’AI Act attend des jeux de données

Pour les systèmes d’IA à haut risque qui entraînent des modèles, l’article 10 du règlement (UE) 2024/1689, le règlement européen sur l’IA (AI Act), impose que les jeux d’entraînement, de validation et de test satisfassent aux critères de qualité visés aux paragraphes 2, 3 et 4 de cet article et à l’article 4 bis, paragraphe 1, chaque fois que ces jeux sont utilisés[6]. Pour les systèmes de l’annexe III, ces exigences s’appliquent à partir du 2 décembre 2027[7].

Les jeux de données d’entraînement, de validation et de test sont pertinents, suffisamment représentatifs et, dans toute la mesure possible, exempts d’erreurs et complets au regard de la destination. Ils possèdent les propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou groupes de personnes à l’égard desquels le système d’IA à haut risque est destiné à être utilisé.

Règlement (UE) 2024/1689, article 10, paragraphe 3

Un jeu fabriqué par des règles ne peut pas démontrer, à lui seul, qu’il est représentatif des personnes auprès desquelles le système sera utilisé : ses propriétés statistiques sont celles que son auteur a choisies. Le même article demande, au paragraphe 2, que la gouvernance des données porte notamment sur la formulation d’hypothèses quant aux informations que les données sont censées mesurer et représenter[6]. Écrire noir sur blanc que les étiquettes viennent d’une règle, et laquelle, entre dans cette exigence.

Savoir si un système donné relève du haut risque est une autre question. Elle se tranche système par système, et cet article ne la traite pas.

Écrire honnêtement une mesure faite sur données synthétiques

Le risque, avec une mesure synthétique, n’est pas tant le calcul que la phrase qui le suit. Quelques règles d’écriture suffisent à l’éviter.

  1. Dire d’où viennent les étiquettes : « étiquettes produites par une règle à trois variables », et non « jeu de test ».
  2. Nommer ce que la métrique mesure : l’aptitude du modèle à retrouver la règle de génération.
  3. Ne pas employer les mots précision, performance ou fiabilité sans préciser qu’il s’agit d’étiquettes synthétiques.
  4. Publier la règle de génération, ou le script, pour qu’un relecteur puisse refaire le calcul.
  5. Prévoir la mesure sur données réelles avant toute mise en service, avec ses conditions : étiquettes observées, période d’observation, groupes de clients sur lesquels l’écart sera mesuré.
  6. Empêcher par le code qu’un modèle entraîné sur des données synthétiques passe en production sans une décision explicite et tracée.

Appliquées à l’exemple, ces règles donnent une phrase moins flatteuse que l’AUC seule, et plus utile.

Télécharger le script de l'exemple (Python)

Sources

  1. R. Riemann (Tech Champion), TechSonar : Synthetic data, Contrôleur européen de la protection des données (EDPS). www.edps.europa.eu/press-publications/publications/techsonar/synthetic-data_en · consulté le 13 novembre 2026
  2. Développement des systèmes d’IA : que faut-il vérifier ?, CNIL, Liste de vérification issue des recommandations de la CNIL pour le développement des systèmes d’IA. www.cnil.fr/sites/default/files/2025-07/ia_liste_de_verification.pdf · consulté le 13 novembre 2026
  3. T. Fawcett, An introduction to ROC analysis, Pattern Recognition Letters, vol. 27, n° 8, p. 861-874, section 7, 2006. doi.org/10.1016/j.patrec.2005.10.010 · consulté le 13 novembre 2026
  4. T. Stadler, B. Oprisanu, C. Troncoso, Synthetic Data – Anonymisation Groundhog Day, USENIX Association, 31st USENIX Security Symposium, Boston, p. 1451-1468, août 2022. www.usenix.org/conference/usenixsecurity22/presentation/stadler · consulté le 13 novembre 2026
  5. Avis 05/2014 sur les techniques d’anonymisation (WP216), Groupe de travail « Article 29 » sur la protection des données, Adopté le 10 avril 2014, section 2.2, 10 avril 2014. ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2014/wp216_fr.pdf · consulté le 13 novembre 2026
  6. Article 10 : Données et gouvernance des données, Commission européenne, AI Act Service Desk, Règlement (UE) 2024/1689, article 10, dans sa version modifiée par le règlement (UE) 2026/1744. ai-act-service-desk.ec.europa.eu/fr/ai-act/article-10 · consulté le 13 novembre 2026
  7. Article 113 : Entrée en vigueur et application, Commission européenne, AI Act Service Desk, Règlement (UE) 2024/1689, article 113, point c), i), dans sa version modifiée par le règlement (UE) 2026/1744. ai-act-service-desk.ec.europa.eu/fr/ai-act/article-113 · consulté le 13 novembre 2026

30 minutes pour voir BRAIU sur notre banque de démonstration (données fictives).

Nous vous montrons la solution sur des données fictives : aucune donnée de votre établissement n'est nécessaire.