Aller au contenu
  • Pilote et carnet de conception
  • Guide

Un pilote de 8 semaines : écrire les critères de succès avant de commencer

Cas d’usage, groupe témoin, taille d’échantillon, règle de décision : ce qu’un pilote d’IA en banque doit fixer par écrit avant sa première semaine.

  • Rédaction BRAIU
  • Publié le
  • 11 min de lecture
Sommaire (7 parties)

À la fin d’un pilote, tout le monde a un avis sur ce qui comptait. Le marketing retient le taux de contact, le réseau la satisfaction des conseillers, la direction un chiffre de collecte qui a monté pendant la période. Chacun a trouvé un indicateur favorable, et aucun de ces indicateurs n’avait été choisi avant de commencer. Un pilote évalué de cette façon réussit presque toujours, ce qui veut dire qu’il n’apprend rien.

Le remède consiste à écrire, avant la première semaine, la mesure qui décidera, l’écart qui compterait, le groupe témoin, la taille d’échantillon, le plan d’analyse et la décision qui suivra chaque résultat. Pour un pilote d’IA de huit semaines dans une banque de détail, il faut y ajouter ce qui doit être signé avant de charger la moindre donnée.

Avant la semaine 1 : ce qui doit être signé

Huit semaines d’usage supposent que les données réelles sont chargées dès le premier jour. Tout ce qui conditionne ce chargement se place donc avant, et prend souvent plus de temps que le pilote lui-même.

Le contrat d’abord. Si le prestataire traite des données de clients pour le compte de la banque, le RGPD exige un contrat qui définit l’objet et la durée du traitement, sa nature et sa finalité, le type de données et les catégories de personnes concernées, et qui prévoit notamment que le sous-traitant ne traite les données que sur instruction documentée de la banque[1]. La clause de secret bancaire, qui engage le prestataire et toute personne intervenant pour son compte, s’écrit dans le même contrat.

L’analyse d’impact ensuite. Le RGPD l’impose avant le traitement lorsqu’il est susceptible d’engendrer un risque élevé pour les droits et libertés des personnes, et en particulier pour une évaluation systématique et approfondie d’aspects personnels fondée sur un traitement automatisé, y compris le profilage, sur la base de laquelle sont prises des décisions produisant des effets juridiques ou affectant les personnes de manière significative[1]. La liste publiée par la CNIL y range aussi les traitements de profilage faisant appel à des données provenant de sources externes, au titre de trois critères : évaluation ou notation, croisement ou combinaison d’ensembles de données, usage innovant ou application de nouvelles solutions technologiques[2]. Un modèle qui estime un risque de départ à partir des opérations d’un client fait du profilage au sens du RGPD, qui vise notamment l’analyse ou la prédiction du comportement d’une personne[1]. C’est à la banque, après avoir demandé conseil à son délégué à la protection des données, de dire si l’analyse d’impact est requise[1] ; si elle l’est, elle se conduit avant le pilote, pas pendant.

Le registre des prestataires enfin. Le règlement sur la résilience opérationnelle numérique (DORA) s’applique aux banques et aux établissements de paiement depuis le 17 janvier 2025[3]. Il leur demande de tenir un registre d’informations sur tous les accords contractuels portant sur des services TIC (technologies de l’information et de la communication) fournis par des prestataires tiers[3]. Avant de conclure un tel accord, la banque doit notamment déterminer s’il soutient une fonction critique ou importante, identifier et évaluer les risques qu’il comporte et faire preuve de diligence à l’égard du prestataire[3]. Un pilote n’en est pas dispensé du fait de sa durée.

La revue de sécurité, conduite par le responsable de la sécurité des systèmes d’information (RSSI), complète la liste. Ses conclusions conditionnent le chargement des données.

Une mesure, un effet minimal, une règle de décision

Un pilote répond à une seule question, formulée avant le début. Elle tient en une phrase : « les clients signalés par la liste et confiés aux conseillers partent-ils moins que les clients signalés et non confiés ? » Tout le reste découle de cette phrase.

La mesure principale doit être observable pendant le pilote. Une attrition à douze mois ne se mesure pas en huit semaines. Il faut choisir un indicateur qui se produit dans la fenêtre, quitte à ce qu’il soit un signal précoce du phénomène qui intéresse vraiment la banque, et le dire.

Deux nombres se fixent en même temps que la mesure, et il ne faut pas les confondre. Le premier est l’effet minimal d’intérêt : le plus petit écart qui justifierait de déployer l’outil. C’est une décision économique, pas statistique ; elle dépend de ce que coûte l’outil, du temps des conseillers et de ce que vaut un client retenu. C’est sur cet écart que se calcule la taille d’échantillon. Le second est la règle de décision : le test statistique, son risque et la lecture de l’intervalle de confiance qui diront, à la fin, si l’outil a eu un effet. Écrire « succès si l’écart observé atteint deux points » mélange les deux, et la section sur l’échantillon montre ce que cela coûte.

Le groupe témoin

Sans groupe témoin, un pilote mesure la saison. Un mois de rentrée, une offre agressive d’une autre banque, une campagne nationale de la banque elle-même : tout ce qui se passe pendant les huit semaines s’ajoute à l’effet de l’outil, et rien ne permet de les séparer.

Le groupe témoin est tiré au sort, avant le pilote, parmi les clients qui seraient signalés. Les clients du groupe témoin sont repérés par le modèle mais ne figurent pas sur la liste des conseillers. Ils reçoivent le service habituel. Avec le tirage au sort, les deux groupes ne diffèrent en moyenne que par la liste.

Deux plans sont possibles. Le tirage au sort par client est le plus efficace, mais un conseiller qui voit une partie de ses clients sur la liste peut modifier son comportement avec les autres. Le tirage au sort par agence évite cette contamination, au prix d’un effectif plus grand, parce que les clients d’une même agence se ressemblent.

Combien de clients

La taille d’échantillon se calcule avant, pas après. Pour comparer deux proportions p₁ et p₂ avec un test bilatéral au risque α et une puissance 1 − β, l’effectif par groupe est donné par la formule classique :

n = [z₁₋α/₂ · √(2 p̄ (1 − p̄)) + z₁₋β · √(p₁ (1 − p₁) + p₂ (1 − p₂))]² / (p₁ − p₂)², avec p̄ = (p₁ + p₂) / 2.

Les quantités z sont les quantiles de la loi normale centrée réduite. La formule est symétrique : elle donne le même effectif pour un passage de 5 à 7 points que pour un passage de 7 à 5.

D’où la règle de la fiche. Avec la puissance retenue, calculée pour un écart de deux points, un outil dont l’effet réel est exactement de deux points ne produit un écart observé d’au moins deux points qu’environ une fois sur deux : l’écart observé fluctue autour de l’effet réel. Exiger cet écart brut reviendrait à rejeter, une fois sur deux, l’outil que la banque espérait trouver. La décision se prend donc sur le test, et l’intervalle de confiance dit quels effets restent compatibles avec les données.

Le calcul a une autre conséquence pratique. Si le périmètre choisi ne produit pas assez de clients signalés en quatre semaines, le pilote ne pourra pas trancher, quel que soit l’effet réel de l’outil. Il vaut mieux le savoir avant, et soit élargir le périmètre, soit accepter de ne détecter qu’un écart plus grand, soit choisir une autre mesure. Un pilote sous-dimensionné qui ne montre rien ne dit rien de l’outil : il n’avait pas les moyens de répondre.

Le plan d’analyse, écrit avant de voir les données

La recherche a un nom pour cette discipline : le préenregistrement. Nosek et ses coauteurs le définissent comme le fait de s’engager sur les étapes d’analyse sans connaître à l’avance les résultats[4]. Ils rappellent que le biais rétrospectif, l’effet « je le savais depuis le début », rend difficile de distinguer après coup ce qui avait été prédit de ce qui a été trouvé[4]. Le principe s’applique tel quel à un pilote en entreprise, où les intérêts de chacun poussent dans le même sens que le biais.

Le plan d’analyse tient sur une page, signée par la direction métier et par la personne qui conduira l’analyse. Il fixe la mesure principale et sa définition exacte, la population incluse, l’effet minimal d’intérêt, le test statistique et son risque, la règle de traitement des clients qui changent d’agence ou de conseiller pendant le pilote, et ce qui sera fait si le volume d’inclusion est trop faible.

Le préenregistrement n’interdit pas d’explorer. Les auteurs écrivent qu’une fois les prédictions testées, les données peuvent être explorées librement[4]. La seule exigence est de séparer les deux dans le compte rendu. Ils recommandent aussi de déclarer de façon transparente les changements de procédure intervenus en cours d’étude, et leur raison[4]. Un écart au plan n’invalide pas un pilote ; un écart non déclaré, si.

Semaine par semaine

La semaine 1 sert à vérifier que la chaîne fonctionne : les données arrivent, la liste se produit à l’heure, les conseillers y ont accès, le tirage au sort est appliqué. Les premiers clients sont inclus.

Les semaines 2 à 4 poursuivent l’inclusion. Chaque semaine, l’équipe suit les indicateurs de pilotage, au besoin face au groupe témoin : le volume d’inclusion, comparé à celui qu’exige le calcul d’échantillon, le taux de contact, les motifs de refus, les indicateurs de vigilance. Ce suivi sert à faire fonctionner le pilote ; un taux de contact qui s’effondre en semaine 2 signale un problème d’outil ou d’organisation, à corriger tout de suite. Il ne sert pas à décider en cours de route. Arrêter ou conclure au premier écart favorable, c’est risquer de décider sur une fluctuation.

Les semaines 5 à 8 terminent le suivi des clients inclus. Les retours des conseillers (motifs de refus, suggestions jugées inutiles) sont recueillis pendant cette période et analysés à part.

À la fin de la semaine 8, la mesure principale est calculée et lue une seule fois, selon le plan d’analyse.

La décision de la semaine 8

Le plan d’analyse écrit avant le pilote se termine par la décision qui suivra chaque résultat. Trois issues suffisent. Si le test conclut à une baisse dans le groupe confié aux conseillers, la banque poursuit vers un déploiement plus large, avec la même mesure, et lit l’intervalle de confiance pour savoir quels effets restent plausibles au regard de l’effet minimal d’intérêt. Si le test ne conclut pas et que l’intervalle contient encore un écart de deux points, le pilote n’a pas tranché : elle corrige un élément nommé à l’avance (le périmètre, la mesure, la présentation de la liste) et relance un pilote, en sachant que c’est un nouveau pilote. Si l’intervalle exclut un écart de deux points, ou si l’écart est nul ou défavorable, elle arrête.

Écrire ces trois issues avant de commencer a un effet sur tous les participants. Le fournisseur sait sur quoi il sera jugé. Les conseillers savent que leur temps sert une question précise. La direction sait d’avance qu’un résultat négatif mettra fin au projet, et peut décider dès maintenant si elle est prête à l’accepter. Si elle ne l’est pas, mieux vaut ne pas lancer le pilote.

Télécharger le script de l'exemple (Python)

Sources

  1. Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données (RGPD), Union européenne, EUR-Lex, JO L 119 du 4 mai 2016 ; articles 4, point 4, 28, paragraphe 3, et 35, 27 avril 2016. eur-lex.europa.eu/legal-content/FR/TXT/HTML/?uri=CELEX:32016R0679 · consulté le 13 novembre 2026
  2. Liste des types d’opérations de traitement pour lesquelles une analyse d’impact relative à la protection des données est requise, Commission nationale de l’informatique et des libertés (CNIL), Version 2 ; entrée « Traitements de profilage faisant appel à des données provenant de sources externes ». www.cnil.fr/sites/default/files/atoms/files/liste-traitements-avec-aipd-requise-v2.pdf · consulté le 13 novembre 2026
  3. Règlement (UE) 2022/2554 du Parlement européen et du Conseil du 14 décembre 2022 sur la résilience opérationnelle numérique du secteur financier (DORA), Union européenne, EUR-Lex, JO L 333 du 27 décembre 2022 ; articles 2, 28, paragraphes 3 et 4, et 64, 14 décembre 2022. eur-lex.europa.eu/legal-content/FR/TXT/HTML/?uri=CELEX:32022R2554 · consulté le 13 novembre 2026
  4. B. A. Nosek, C. R. Ebersole, A. C. DeHaven, D. T. Mellor, The preregistration revolution, Proceedings of the National Academy of Sciences (PNAS), PNAS, vol. 115, n° 11, 2018, p. 2600-2606, doi:10.1073/pnas.1708274114, 13 mars 2018. pmc.ncbi.nlm.nih.gov/articles/PMC5856500/ · consulté le 13 novembre 2026

30 minutes pour voir BRAIU sur notre banque de démonstration (données fictives).

Nous vous montrons la solution sur des données fictives : aucune donnée de votre établissement n'est nécessaire.