- IA générative sous contrôle
- Guide
Les chiffres ne doivent pas venir du modèle de langage
Un assistant bancaire qui cite un montant doit pouvoir le prouver : le calcul produit les chiffres, le modèle les rédige, un contrôle vérifie chaque nombre.
Sommaire (6 parties)
Un client demande à l’assistant de sa banque combien il a dépensé au restaurant le mois dernier. L’assistant répond par une phrase, et cette phrase contient un montant. D’où vient ce montant ?
S’il vient du modèle de langage (LLM), personne ne peut le prouver. S’il vient d’un calcul sur les opérations du client, on peut le refaire, le dater et le comparer à ce que la réponse affiche. D’où l’architecture qui suit : le calcul produit les chiffres, le modèle se contente de les mettre en phrase, et un contrôle vérifie, réponse par réponse, qu’il ne les a pas changés. Ce contrôle a ses angles morts, et il vaut mieux les connaître avant de s’y fier.
Ce qu’un modèle de langage fait des nombres
Le National Institute of Standards and Technology (NIST) américain appelle confabulation la production d’un contenu erroné ou faux, énoncé avec assurance, que l’on désigne couramment sous le nom d’hallucination[1]. Il en donne la cause : un modèle génératif produit des sorties qui approchent la distribution statistique de ses données d’entraînement ; un LLM prédit le mot suivant d’une phrase[1]. Cette prédiction peut donner des sorties exactes. Elle peut aussi donner des sorties fausses ou incohérentes, et rien dans la forme de la phrase ne les distingue.
Un montant est l’un des pires cas. Un relevé de compte n’est pas dans les données d’entraînement du modèle : chaque chiffre de la réponse doit venir du contexte qu’on lui fournit, ou il sera fabriqué. Le NIST ajoute un point utile pour concevoir un contrôle : les confabulations peuvent inclure une logique ou des justifications inventées, et un LLM fournit parfois les étapes de son raisonnement alors même que la réponse est fausse[1]. Un calcul détaillé dans la réponse ne prouve donc rien.
Le projet de l’Open Worldwide Application Security Project (OWASP) consacré à la sécurité de l’IA générative décrit l’autre moitié du problème : la confiance excessive, quand on se fie à un contenu généré sans en vérifier l’exactitude et qu’on l’intègre à des décisions[2]. Un client qui lit un montant dans l’application de sa banque n’a aucune raison de le recalculer.
L’Agence nationale de la sécurité des systèmes d’information (ANSSI) résume la conséquence pour la sécurité : la plupart des modèles de langage ont un comportement non déterministe et peuvent être sujets à des hallucinations, ce qui impose une plus grande vigilance sur les conséquences indirectes de leurs réponses[3].
Le calcul décide, le modèle rédige
La règle tient en une phrase : aucun nombre affiché au client n’est produit par le modèle de langage. Les montants, les nombres d’opérations, les moyennes et les variations sont calculés en amont, par du code que l’on peut tester et rejouer. Le modèle reçoit le résultat et rédige.
Des valeurs nommées, datées, avec leur périmètre
Le calcul ne transmet pas un tableau d’opérations brutes en laissant le modèle additionner. Il transmet des valeurs déjà calculées, chacune avec un nom, une unité, une période et un périmètre. C’est ce qui rendra la vérification possible.
La moyenne et les pourcentages sont calculés eux aussi. Si le calcul ne les fournit pas, le modèle les fera de lui-même dès qu’une question s’y prête, et on ne pourra plus distinguer une division juste d’une division approximative.
Une consigne de citation
Le modèle reçoit, avec les valeurs, trois consignes : citer les valeurs telles qu’elles sont fournies, sans les arrondir au-delà de l’euro ; ne faire aucun calcul ; dire qu’il ne dispose pas de la donnée quand la question porte sur une valeur absente. OWASP recommande, dans le même esprit, d’appuyer les réponses sur des informations vérifiées, tirées de sources de confiance au moment de la génération[2]. Ici, la source de confiance est le calcul.
Une consigne n’est pas un contrôle. Un modèle qui la respecte presque toujours se trompera parfois, et la consigne ne dira pas quand.
Vérifier chaque nombre de la réponse
OWASP recommande de mettre en place des outils et des processus qui valident automatiquement les sorties importantes, en particulier dans les environnements à fort enjeu[2]. Pour les nombres, le contrôle le plus simple est aussi le plus robuste : extraire tous les nombres de la réponse et vérifier que chacun existe dans les valeurs transmises au modèle.
Arrondis, unités, dates
Trois détails font la différence entre un contrôle qui sert et un contrôle qui bloque tout.
La tolérance découle de la façon dont le nombre est écrit. Un montant écrit avec deux décimales doit être exact au centime ; écrit sans décimale, il doit être à un demi-euro au plus de la valeur calculée. L’arrondi à l’euro passe, l’arrondi à la dizaine non. C’est un choix : un montant arrondi à la dizaine peut être juste ou faux, le contrôle ne sait pas faire la différence, et il les refuse tous.
L’unité restreint la comparaison. Un nombre suivi de « € » se compare aux montants, un nombre suivi de « % » aux pourcentages, un nombre nu aux nombres d’opérations. Sans cela, un pourcentage inventé peut tomber par hasard sur un montant.
Les dates se reconnaissent et se contrôlent à part. « 31 octobre 2026 » contient deux nombres qui ne sont pas des valeurs calculées ; ils doivent appartenir à la période couverte par le calcul.
Les cas 9 et 10 sont l’objet de la section suivante.
Quand le contrôle refuse
Une réponse refusée ne part pas au client. La solution la plus sûre est un texte déterministe, construit directement à partir des valeurs : moins agréable à lire, mais exact par construction. Une nouvelle génération est possible, à condition d’en limiter le nombre et de retomber sur le texte déterministe ensuite. Chaque refus est journalisé avec la réponse refusée et les valeurs transmises : le taux de refus est un indicateur à suivre, et toute hausse est à expliquer, par exemple après un changement de modèle ou de consigne.
Ce que le contrôle ne voit pas
Le contrôle vérifie une égalité entre des nombres. Il ne vérifie ni le sens de la phrase, ni le raisonnement.
Le cas 9 cite une valeur exacte, mais l’attribue à la mauvaise grandeur : il présente la hausse d’un mois sur l’autre comme la part des restaurants dans les dépenses. Le nombre existe dans le calcul, donc il passe. Le cas 10 ne contient aucun nombre et affirme une baisse qui n’a pas eu lieu. Il n’y a rien à comparer, donc il passe aussi.
Le banc dit exactement ce que le contrôle fait. Il arrête un nombre fabriqué. Il laisse passer un nombre réel mis au mauvais endroit.
Deux renforcements réduisent ce reste sans le supprimer. Le premier lie chaque nombre à une valeur nommée : au lieu d’écrire les montants, le modèle écrit une référence à la valeur, que le code remplace par le chiffre. Un montant ne peut plus être altéré ; une référence peut encore être mal choisie, mais l’erreur devient lisible dans les journaux. Le second contrôle les affirmations qualitatives qui ont un équivalent calculé : une hausse ou une baisse se compare au signe de la variation, un « plus que » à l’ordre des deux valeurs.
Pour le reste, l’interprétation, le ton, le conseil implicite, il faut d’autres garde-fous, et une relecture humaine des cas sensibles. OWASP recommande un contrôle humain et une vérification des faits, en particulier pour les informations critiques ou sensibles[2].
Filtrer ce qui entre et ce qui sort
Le contrôle des nombres s’ajoute aux filtres que l’ANSSI recommande pour tout système d’IA générative. Sa recommandation R25 prévoit de filtrer les requêtes malveillantes avant leur envoi au modèle, les requêtes jugées non légitimes d’un point de vue métier, les informations internes du modèle et les informations sensibles dans les réponses, et de limiter la taille des réponses[3].
Le guide signale aussi l’injection de requête indirecte : des données non maîtrisées envoyées au modèle, comme le contenu d’un courriel reçu, peuvent contenir des instructions[3]. Dans une banque, le libellé d’un virement reçu est écrit par celui qui l’émet : ni le client ni la banque n’en choisissent le contenu. C’est une donnée non maîtrisée au sens de ce guide, et elle se traite comme telle avant d’entrer dans le contexte du modèle.
Enfin, la recommandation R9 proscrit l’usage automatisé de systèmes d’IA pour des actions critiques, et cite parmi elles les transactions bancaires[3]. Un assistant qui rédige une réponse ne déclenche rien ; le jour où une réponse propose une action, la validation reste celle d’une personne.
Dire au client qu’il parle à une IA
Depuis le 2 août 2026, date générale d’application du règlement (UE) 2024/1689[4], l’article 50 impose une obligation de transparence aux fournisseurs de systèmes destinés à interagir directement avec des personnes physiques.
Les fournisseurs veillent à ce que les systèmes d’IA destinés à interagir directement avec des personnes physiques soient conçus et développés de manière que les personnes physiques concernées soient informées qu’elles interagissent avec un système d’IA, sauf si cela ressort clairement du point de vue d’une personne physique normalement informée et raisonnablement attentive et avisée, compte tenu des circonstances et du contexte d’utilisation.
L’information doit être fournie de manière claire et reconnaissable au plus tard au moment de la première interaction, et respecter les exigences d’accessibilité[5]. Pour un assistant intégré à l’application d’une banque, une façon de le faire : une mention visible dès l’ouverture de la conversation, lisible par un lecteur d’écran.
Cette mention n’excuse aucun chiffre faux. Un client informé qu’il parle à une IA lira quand même le montant comme celui de sa banque, et c’est bien le cas, s’il vient du calcul.
Télécharger le script de l'exemple (Python)
Sources
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, National Institute of Standards and Technology (NIST), NIST AI 600-1, juillet 2024, section 2.2 « Confabulation », juillet 2024. doi.org/10.6028/NIST.AI.600-1
- LLM09:2025 Misinformation, OWASP Gen AI Security Project, OWASP Top 10 for LLM Applications 2025. genai.owasp.org/llmrisk/llm092025-misinformation/
- Recommandations de sécurité pour un système d’IA générative, Agence nationale de la sécurité des systèmes d’information (ANSSI), Guide ANSSI-PA-102, version 1.0 du 29 avril 2024, recommandations R9 et R25, 29 avril 2024. messervices.cyber.gouv.fr/documents-guides/Recommandations_de_sécurité_pour_un_système_d_IA_générative.pdf
- Article 113 : Entrée en vigueur et application, Commission européenne, AI Act Service Desk, Règlement (UE) 2024/1689, article 113, deuxième alinéa. ai-act-service-desk.ec.europa.eu/fr/ai-act/article-113
- Article 50 : Obligations de transparence pour les fournisseurs et les déployeurs de certains systèmes d’IA, Commission européenne, AI Act Service Desk, Règlement (UE) 2024/1689, article 50, paragraphes 1 et 5, dans sa version modifiée par le règlement (UE) 2026/1744. ai-act-service-desk.ec.europa.eu/fr/ai-act/article-50