La plupart des entreprises qui utilisent déjà l’IA générative envoient toutes leurs tâches au même modèle : le plus performant, celui qu’elles ont essayé le premier jour. Classer un e-mail de trois lignes et rédiger un rapport de risque passent par le même canal et coûtent autant. Le routage de modèles corrige cela : chaque tâche est confiée au modèle qui lui correspond, en capacité comme en coût.
Qu’est-ce que le routage de modèles
Une couche qui décide, pour chaque requête, quel modèle la traite. La décision peut reposer sur le type de tâche, la longueur et la complexité de l’entrée, le niveau d’exigence du résultat ou des règles métier explicites, par exemple que tout ce qui touche aux données clients passe par un déploiement précis.
Un schéma courant comporte trois voies : un modèle petit et peu coûteux pour la classification, l’extraction et les réponses courantes ; un modèle intermédiaire pour la rédaction et la synthèse ; et un modèle haut de gamme réservé au raisonnement complexe, au code ou aux décisions délicates. La majeure partie du trafic d’une application d’entreprise typique n’a pas besoin de la voie la plus chère.
Les trois briques qui le rendent viable
Routage. La règle qui attribue une tâche à un modèle. Elle peut commencer par une simple liste explicite par type d’opération, puis évoluer vers un classifieur qui estime la difficulté avant de décider.
Repli (fallback). Ce qui se passe lorsque le modèle choisi échoue, met trop de temps ou renvoie un résultat inutilisable : on relance, on passe à la voie supérieure ou on dégrade le service en le signalant. Sans repli, la disponibilité du service est celle du fournisseur.
Cache. Beaucoup de requêtes se répètent à l’identique ou presque. Conserver et réutiliser les réponses (et, lorsque le fournisseur le permet, le contexte lui-même) évite de payer deux fois pour la même chose. C’est la brique au meilleur rapport entre effort et économies.
Ce que l’on gagne en plus des économies
Indépendance. Une application dotée d’un routage est déjà prête à dialoguer avec plusieurs fournisseurs. Changer de fournisseur, répartir la charge ou négocier ne sont plus des projets en soi.
Latence. Les tâches courtes traitées par de petits modèles reçoivent une réponse bien plus rapide. Dans un assistant destiné aux utilisateurs, cela se remarque davantage qu’un gain marginal de qualité du texte.
Maîtrise des risques. Les règles de routage sont aussi des règles de gouvernance : quelles données peuvent partir vers quel fournisseur, et ce qui reste dans un déploiement maîtrisé.
Quand c’est pertinent, et quand ça ne l’est pas
C’est pertinent lorsque :
- La dépense mensuelle en modèles est déjà un poste visible et augmente avec l’usage
- Des tâches très différentes coexistent dans une même application
- La disponibilité compte : une panne du fournisseur unique arrête le service
- Il existe des exigences sur le lieu de traitement de chaque type de données
Ce n’est pas pertinent lorsque :
- Le volume est faible : en dessous d’un certain niveau de dépense, la complexité ajoutée coûte plus qu’elle ne rapporte
- Il n’existe qu’un seul type de tâche, et il est exigeant : si tout requiert la voie la plus chère, le routage n’apporte rien
- La qualité ne peut pas être mesurée : sans évaluation, passer à un modèle inférieur revient à baisser la qualité à l’aveugle
Notre démarche
D’abord, mesurer : quels types de requêtes existent, dans quelle proportion, et ce que coûte chacun aujourd’hui. Ensuite, définir la matrice de routage et fixer le niveau de qualité attendu pour chaque voie avec un jeu d’évaluation propre. Alors seulement, on passe à un modèle inférieur là où le résultat tient, et on garde le haut de gamme là où il ne tient pas. Les économies sont mesurées par rapport à la facture réelle du mois précédent, et non à une estimation.
Nous travaillons sans accords avec les éditeurs : la matrice de routage répond au cas, pas au catalogue de qui que ce soit.
Questions fréquentes
Passer à un modèle inférieur ne dégrade-t-il pas la qualité ? Sur les tâches exigeantes, si ; c’est pourquoi on ne le fait pas partout. Le travail consiste à identifier où le petit modèle donne un résultat équivalent, et à le mesurer avant de changer.
Faut-il souscrire auprès de plusieurs fournisseurs ? Pas nécessairement : presque tous proposent plusieurs tailles de modèles. Travailler avec plusieurs fournisseurs apporte de la résilience et du pouvoir de négociation, mais on peut commencer au sein d’une seule famille de modèles.
Quelles économies peut-on attendre ? Cela dépend de la répartition des tâches et du point de départ. Le chiffre utile n’est pas un pourcentage générique, mais la comparaison entre la facture avant et après, à volume égal et à qualité mesurée égale.