Pourquoi l’explicabilité de l’IA n’est plus facultative
Pendant des années, l’explicabilité des modèles d’IA est restée une préoccupation secondaire : seule comptait la précision. Cette logique se comprenait pour des applications à faible risque, mais elle devient inacceptable lorsqu’un modèle d’IA décide si une personne obtient un crédit, quel traitement médical lui est recommandé ou si sa candidature passe à l’étape suivante d’un recrutement.
L’IA explicable (XAI, Explainable Artificial Intelligence) regroupe les techniques et méthodes qui permettent de comprendre, en des termes intelligibles pour un humain, comment et pourquoi un modèle d’IA aboutit à une prédiction ou à une décision donnée.
Avec l’entrée en vigueur du règlement européen sur l’IA (AI Act), l’explicabilité est passée du statut de bonne pratique à celui d’obligation légale pour les systèmes d’IA à haut risque. Les systèmes utilisés dans le crédit, l’emploi, l’éducation, la protection sociale et la santé doivent documenter leur fonctionnement, être transparents envers les personnes concernées et permettre un contrôle humain effectif.
Principales techniques de XAI
SHAP (SHapley Additive exPlanations) : fondé sur la théorie des jeux de Shapley, SHAP calcule la contribution marginale de chaque variable d’entrée à la prédiction pour un cas donné. C’est la méthode de référence dans l’industrie, pour sa solidité mathématique et sa capacité à produire des explications locales (pourquoi le modèle a prédit cette valeur pour ce client) comme globales (quelles variables comptent le plus pour le modèle en général).
LIME (Local Interpretable Model-agnostic Explanations) : entraîne un modèle simple et interprétable (régression linéaire) au voisinage de chaque prédiction pour approcher le comportement du modèle complexe en ce point précis. La méthode est indépendante du type de modèle et très souple, mais mathématiquement moins cohérente que SHAP.
Grad-CAM (Gradient-weighted Class Activation Mapping) : propre aux réseaux de neurones convolutifs en vision par ordinateur. Il produit des cartes de chaleur qui montrent les zones de l’image ayant le plus pesé dans la prédiction, ce qui permet de vérifier que le modèle regarde les bonnes parties de l’image (et non des artefacts ou du bruit).
Mécanismes d’attention : dans les modèles Transformer appliqués au traitement du langage naturel, les poids d’attention indiquent quels mots ou tokens le modèle a jugés les plus pertinents pour produire une prédiction ou une réponse donnée.
Modèles intrinsèquement interprétables : plutôt que d’ajouter l’explicabilité a posteriori, on peut choisir des modèles interprétables par nature : régression logistique (les coefficients se lisent directement), arbres de décision (le chemin de décision est explicite) ou modèles additifs généralisés (GAM), qui saisissent des relations non linéaires tout en restant interprétables.
L’explicabilité dans les secteurs réglementés
Banque et finance : l’article 22 du RGPD imposait déjà un droit à l’explication pour les décisions de crédit automatisées. L’AI Act renforce cette exigence en imposant documentation technique et preuves de conformité pour les systèmes de scoring classés à haut risque. Les superviseurs (BCE, ABE, AEMF et autorités nationales de supervision) exigent que les établissements puissent expliquer aux régulateurs le fonctionnement de leurs modèles de risque.
Assurance : l’évaluation des sinistres ou la tarification par l’IA exige une explicabilité à la fois pour le régulateur (l’AEAPP au niveau européen et les autorités nationales de contrôle des assurances) et pour l’assuré, qui a le droit de connaître les facteurs qui déterminent sa prime.
Santé : les systèmes d’aide à la décision clinique doivent être explicables pour les professionnels de santé qui les utilisent. Un médecin qui ne comprend pas pourquoi le système recommande un traitement ne peut pas exercer pleinement et en responsabilité son jugement clinique.
Ajouter de l’explicabilité à des modèles existants
L’explicabilité a posteriori peut s’ajouter à des modèles déjà en production sans les réentraîner. SHAP, en particulier, s’applique à pratiquement n’importe quel modèle (gradient boosting, réseaux de neurones, forêts aléatoires) de façon indépendante. Les entreprises qui ont des modèles en production peuvent donc améliorer leur position réglementaire sans renoncer au travail déjà accompli.
La démarche type comprend : intégrer la bibliothèque SHAP dans le pipeline d’inférence, calculer et stocker les valeurs SHAP de chaque prédiction, concevoir les explications pour les différents publics (technique, utilisateur final, régulateur) et organiser la revue humaine des cas où l’explication fait apparaître des facteurs inattendus.
Questions fréquentes
Existe-t-il une norme d’explicabilité unique acceptée par les régulateurs ? Il n’existe pas de norme unique, mais SHAP est très largement accepté dans le secteur financier pour ses propriétés mathématiques. L’AI Act ne prescrit pas de technique précise : il exige que les systèmes à haut risque soient suffisamment transparents pour permettre un contrôle humain. La documentation du processus de développement, les métriques de performance par segment et la capacité à expliquer les décisions individuelles sont les éléments les plus examinés lors des contrôles réglementaires.
Les modèles explicables sont-ils moins précis ? Historiquement, il fallait arbitrer entre explicabilité et précision : les modèles les plus simples étaient plus interprétables mais moins précis. Aujourd’hui, les algorithmes de gradient boosting (XGBoost, LightGBM) associés à SHAP offrent une précision élevée avec une explicabilité a posteriori robuste. Pour beaucoup de problèmes métier réels, l’écart de précision avec les réseaux de neurones profonds est marginal, et le gain en interprétabilité et en confiance réglementaire justifie largement ce choix.
Comment expliquer un modèle d’IA à un client dont la demande de crédit a été refusée ? La pratique la plus répandue consiste à traduire les valeurs SHAP des variables techniques du modèle en termes compréhensibles pour le client. Par exemple, au lieu de dire « la valeur SHAP de la variable “ratio_endettement” est de -0,23 », on indique que « le principal facteur ayant pesé négativement sur votre évaluation est votre niveau d’endettement actuel par rapport à vos revenus ». Cette traduction exige une conception soignée du dispositif de communication, qui fait partie du travail de mise en œuvre de la XAI.