- Méthodes
- Guide
Une prévision sans fourchette n’est pas une prévision
Un solde prévu à 12 mois ne vaut que par sa fourchette, et une fourchette par sa couverture mesurée. Méthode et exemple sur 1 200 comptes fictifs.
Sommaire (7 parties)
Un écran affiche le solde prévu d’un compte dans 12 mois, précis à l’euro près. Personne ne sait s’il faut le croire à cent euros, à mille euros ou à cinq mille euros près, et c’est pourtant la seule question qui compte pour décider quoi en faire.
La réponse tient dans une fourchette, à condition qu’elle tienne ce qu’elle annonce. Or une fourchette calculée naïvement sort souvent trop étroite. On peut le mesurer, puis la corriger sans changer de modèle.
Ce qu’une fourchette promet
Une fourchette à 80 % fait une promesse vérifiable : sur un grand nombre de prévisions, environ 80 % des valeurs observées doivent tomber dedans. Ce pourcentage est le niveau nominal. La proportion réellement observée s’appelle la couverture[1]. Une fourchette dont la couverture mesurée est de 65 % n’est pas une fourchette à 80 %, quel que soit le libellé à l’écran.
L’idée n’a rien de neuf. En 1998, la Banque d’Angleterre expliquait pourquoi elle avait remplacé, dans son rapport sur l’inflation, une projection centrale par un graphique en éventail : l’ancien graphique incitait le lecteur à se concentrer sur une projection centrale d’apparence précise[2]. La bande centrale correspond à 10 % de probabilité ; chaque paire de bandes ajoutée en couvre 10 % de plus, jusqu’à 90 % de la distribution, si bien que l’éventail ne couvre pas 100 % des issues[2]. Les auteurs ajoutaient qu’aucune projection ponctuelle n’avait beaucoup de chances de coïncider avec le résultat finalement observé[2].
Une banque de détail qui affiche un solde futur, un encours d’épargne ou une trajectoire de dépenses fait face au même problème, à une autre échelle.
Deux exigences qui tirent en sens inverse
Gneiting, Balabdaoui et Raftery ont formulé en 2007 le principe qui sert de boussole : maximiser la finesse des distributions prédictives, sous contrainte de calibration[3]. La calibration désigne la cohérence statistique entre les prévisions et les observations. La finesse désigne la concentration des distributions prédictives, et c’est une propriété des seules prévisions[3].
Dit autrement : une fourchette très large est toujours juste et ne sert à rien ; une fourchette très étroite est utile tant qu’elle ne se trompe pas plus souvent qu’annoncé. On commence par la calibration, et on ne gagne en finesse qu’ensuite.
Le piège : juste sur l’historique, fausse sur l’avenir
Une fourchette calculée et vérifiée sur les données qui ont servi à l’estimer paraît presque toujours bien calibrée. L’exemple de la documentation de scikit-learn sur la régression quantile le montre sans fard. Deux modèles de gradient boosting estiment les quantiles à 5 % et à 95 %, ce qui doit donner une fourchette à 90 %[4]. Sur les données d’entraînement, la proportion d’observations dans la fourchette est de 90,3 % ; sur les données de test, elle tombe à 79,6 %[4]. La documentation conclut que les modèles ne sont pas bien calibrés sur le jeu de test et que la fourchette est trop étroite, même en tenant compte de la variabilité de la mesure[4].
La conséquence pour la conception est simple : la couverture se mesure sur des données que le modèle n’a pas vues, à l’horizon où la prévision sera utilisée.
Un exemple sur 1 200 comptes fictifs
Pourquoi les comptes « sages » sont eux aussi mal couverts
Les comptes irréguliers cumulent trois causes : cette même incertitude sur la tendance, des mois extrêmes plus fréquents que ne le suppose une loi normale, et le changement de régime que l’historique ne montrait pas. Aucune méthode de calcul ne voit venir le troisième. Seule la mesure après coup le révèle.
Recalibrer sans changer de modèle
La prédiction conforme fournit une correction simple, qui ne demande pas de toucher au modèle de prévision. Dans sa version « split », on calcule sur un jeu de calibration un score d’écart pour chaque observation, puis on prend un quantile de ces scores légèrement corrigé, d’ordre ⌈(n+1)(1−α)⌉/n[1]. Sous l’hypothèse que les données de calibration et de test sont indépendantes et de même loi, la couverture obtenue est comprise entre 1−α et 1−α+1/(n+1)[1].
Couverture globale, couverture par profil
La propriété de couverture de la prédiction conforme porte sur la couverture marginale, c’est-à-dire en moyenne sur l’ensemble des points de calibration et de test[1]. Elle ne dit rien d’un sous-groupe.
Choisir le découpage revient à décider pour quels groupes de clients la banque veut que la couverture annoncée soit tenue. Un découpage trop fin laisse trop peu de comptes par groupe pour calibrer ; un découpage absent laisse les clients atypiques avec des fourchettes trop étroites. Et le recalibrage ne protège pas contre une rupture qui toucherait tous les comptes en même temps, comme un choc sur les prix : l’hypothèse d’indépendance ne tient plus.
Mesurer la qualité d’une fourchette avec un seul nombre
La couverture ne suffit pas pour comparer deux méthodes, puisqu’une fourchette infinie atteint 100 %. Gneiting et Raftery ont proposé le score d’intervalle, qui récompense les fourchettes étroites et ne pénalise que si l’observation tombe dehors[5]. Pour une fourchette centrale [l ; u] de niveau 1−α et une observation y, il s’écrit, à un facteur d’échelle près de la forme publiée[5] :
S = (u − l) + (2/α) · (l − y) si y < l, + (2/α) · (y − u) si y > u.
Plus le score est bas, meilleure est la fourchette. Avec α = 0,2, chaque euro d’écart hors de la fourchette coûte dix fois un euro de largeur.
Le score ne tranche pas à la place de la banque : il mesure un compromis moyen, alors que la question « qui est mal couvert ? » relève d’un choix.
Les règles d’affichage qui en découlent
Ces mesures se traduisent surtout en règles d’interface, valables quel que soit le modèle.
- Jamais de valeur centrale seule. La valeur centrale et la fourchette s’affichent ensemble, avec le niveau nominal écrit en clair (« 8 chances sur 10 d’être entre… »).
- La couverture mesurée se publie, même quand elle est mauvaise. Elle se mesure hors échantillon, à l’horizon affiché, avec son intervalle de confiance, et par groupe de clients quand l’écart entre groupes est connu.
- Quand la fourchette est trop large pour servir, on le dit au lieu d’afficher un chiffre. Un seuil de largeur relative, fixé à l’avance, fait basculer l’affichage vers « estimation non fiable à cet horizon ».
- La date des données et l’horizon s’affichent toujours avec la fourchette. Une fourchette à 12 mois calculée sur des données vieilles de trois mois est une fourchette à 15 mois.
- Les bornes sont calculées, jamais reformulées. Si un assistant conversationnel restitue la prévision, il cite les bornes produites par le calcul et ne les arrondit ni ne les « interprète ».
- La couverture se remesure dans la durée. Le changement de régime de l’exemple n’apparaît qu’après coup ; une couverture qui baisse mois après mois est souvent le premier signe que le comportement des clients a changé.
Télécharger le script de l'exemple (Python)
Sources
- A. N. Angelopoulos, S. Bates, A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification, arXiv, arXiv:2107.07511, version 6, 7 décembre 2022. arxiv.org/html/2107.07511v6
- E. Britton, P. Fisher, J. Whitley, The Inflation Report projections: understanding the fan chart, Bank of England, Bank of England Quarterly Bulletin, février 1998, p. 30-37, février 1998. www.bankofengland.co.uk/-/media/boe/files/quarterly-bulletin/1998/the-inflation-report-projections-understanding-the-fan-chart
- T. Gneiting, F. Balabdaoui, A. E. Raftery, Probabilistic forecasts, calibration and sharpness, Journal of the Royal Statistical Society, Series B, vol. 69, n° 2, 2007, p. 243-268 (version consultée : copie des auteurs, université de Washington), 2007. sites.stat.washington.edu/people/raftery/Research/PDF/Gneiting2007jrssb.pdf
- Prediction Intervals for Gradient Boosting Regression, scikit-learn, Documentation de la version 1.9.1, section « Calibration of the confidence interval ». scikit-learn.org/1.9/auto_examples/ensemble/plot_gradient_boosting_quantile.html
- T. Gneiting, A. E. Raftery, Strictly Proper Scoring Rules, Prediction, and Estimation, University of Washington, Department of Statistics, Technical Report n° 463, section 5.2 ; publié dans le Journal of the American Statistical Association en 2007, septembre 2004. apps.dtic.mil/sti/pdfs/ADA459827.pdf