La question qui fait échouer la plupart des projets d’IA devant le comité de direction n’est pas « est-ce que ça marche ? ». C’est « comment savez-vous que ça marche ? ». Sans réponse chiffrée, l’IA en production est un acte de foi que quelqu’un finira par abandonner.
Pourquoi il ne suffit pas de tester
Un système d’IA ne tombe pas en panne comme un logiciel classique. Il ne s’arrête pas : il commence à répondre un peu moins bien. Une modification des instructions qui améliore un cas en dégrade trois autres. Une mise à jour du modèle par le fournisseur change son comportement sans que personne n’ait rien touché. Et l’équipe qui teste à la main teste toujours les cinq mêmes exemples, précisément ceux qui fonctionnent déjà.
Il faut donc un banc d’essai propre et un moyen d’observer ce qui se passe réellement en production.
Les quatre briques
Un jeu d’évaluation propre. Entre 50 et 300 cas réels de l’entreprise avec le résultat attendu, y compris les cas difficiles et ceux qui ont mal tourné un jour. Il se construit à partir de l’historique et s’enrichit à chaque incident. C’est l’actif le plus précieux du projet, et aucun fournisseur ne peut l’apporter.
Des évaluateurs automatiques. Pour ce qui n’a pas de réponse unique (un résumé, une réponse à un client), on définit ce qui rend une réponse valable et on utilise un modèle comme évaluateur selon ces critères, en le confrontant au jugement humain sur un échantillon. Ce n’est pas parfait, mais c’est ce qui permet de passer de cinq tests à deux cents.
La détection des régressions. Chaque changement (instructions, modèle, outils) passe par le jeu complet avant sa mise en production. Si la note baisse, il ne sort pas. C’est la pratique qui transforme un pilote en un système maintenable.
Des traces en production. Ce que l’utilisateur a demandé, ce que l’agent a décidé, les outils utilisés, ce qu’ils ont renvoyé, le temps et le coût. Sans traces, aucun diagnostic n’est possible quand quelque chose ne va pas, ni aucune défense face à une réclamation ou à un audit.
Ce que l’on mesure
Au-delà de la qualité, trois indicateurs souvent oubliés : le taux d’achèvement (combien de tâches l’agent mène à bien sans aide), le taux d’escalade (combien finissent chez une personne) et le coût par tâche résolue, qui renvoie à la tokeneconomics. Un agent d’excellente qualité avec 70 % d’escalade ne résout pas le problème.
Pour les systèmes concernés par l’AI Act, une bonne partie de ce matériel (traces, indicateurs, journal des modifications) constitue en outre la preuve exigée par le règlement. C’est détaillé dans conformité et gouvernance de l’IA.
Quand le mettre en place
Avant de construire l’agent, pas après. Le bon ordre : définir comment le succès sera mesuré, constituer le jeu d’évaluation, puis développer. Un projet qui arrive en production sans évaluation ne peut pas être amélioré ; il ne peut qu’être refait.
Ce n’est pas nécessaire lorsque le système est à usage interne, ponctuel et sans conséquences : une relecture humaine suffit alors.
Notre démarche
Nous construisons le jeu d’évaluation avec l’équipe qui fait aujourd’hui le travail à la main (c’est elle qui sait ce qu’est une bonne réponse) et nous fixons le niveau attendu avant d’écrire la moindre ligne de code. Les traces sont instrumentées dès le premier jour. Le résultat est un tableau de bord qui suit l’évolution de la qualité, de l’escalade et du coût : c’est sur cette base que l’investissement est défendu, ou arrêté, en comité.
Questions fréquentes
Combien de cas faut-il pour commencer ? Avec 50 cas bien choisis, on détecte déjà les régressions importantes. L’essentiel est qu’il s’agisse de cas réels et qu’ils incluent les plus difficiles, pas qu’ils soient nombreux.
Un modèle peut-il évaluer un autre modèle ? Avec des critères explicites et une confrontation au jugement humain sur un échantillon, oui, et c’est ce qui rend l’évaluation à grande échelle possible. Sans cette confrontation, non.
Les plateformes des fournisseurs ne le proposent-elles pas déjà ? Elles fournissent l’instrumentation. Les cas, les critères de qualité et le niveau d’exigence appartiennent à l’entreprise, et c’est la partie qui compte vraiment.