La maggior parte delle aziende che già usano l’IA generativa invia tutte le attività allo stesso modello: il più capace tra quelli provati il primo giorno. Classificare un’email di tre righe e redigere una relazione sui rischi passano dallo stesso punto e costano uguale. Il routing dei modelli corregge questa situazione: ogni attività va al modello adatto per capacità e per costo.
Che cos’è il routing dei modelli
È un livello che decide, per ogni richiesta, quale modello la gestisce. La decisione può basarsi sul tipo di attività, sulla lunghezza e complessità dell’input, sul livello di qualità richiesto o su regole di business esplicite: per esempio, che tutto ciò che riguarda dati dei clienti passi da un’installazione specifica.
Uno schema comune prevede tre corsie: un modello piccolo ed economico per classificazione, estrazione e risposte di routine; uno intermedio per redazione e sintesi; uno di fascia alta riservato al ragionamento complesso, al codice o alle decisioni delicate. La maggior parte del traffico di una tipica applicazione aziendale non ha bisogno della corsia più costosa.
I tre elementi che lo rendono praticabile
Routing. La regola che assegna l’attività al modello. Può nascere come un elenco esplicito per tipo di operazione ed evolvere in un classificatore che stima la difficoltà prima di decidere.
Fallback. Che cosa succede quando il modello scelto non risponde, impiega troppo o restituisce qualcosa di inutilizzabile: si riprova, si passa alla corsia superiore o si degrada il servizio con un avviso. Senza fallback, la disponibilità del servizio coincide con quella del fornitore.
Cache. Molte richieste si ripetono alla lettera o quasi. Memorizzare e riutilizzare le risposte (e, quando il fornitore lo consente, il contesto stesso) evita di pagare due volte la stessa cosa. È l’elemento con il miglior rapporto tra impegno e risparmio.
I vantaggi oltre al risparmio
Indipendenza. Un’applicazione con routing è già predisposta per dialogare con più fornitori. Cambiare, ripartire il carico o negoziare non è più un progetto a sé.
Latenza. Le attività brevi gestite da modelli piccoli ottengono risposta molto prima. In un assistente rivolto all’utente, questo si nota più della qualità marginale del testo.
Controllo del rischio. Le regole di routing sono anche regole di governance: quali dati possono andare a quale fornitore e che cosa resta in un’installazione controllata.
Quando ha senso, e quando no
Ha senso quando:
- la spesa mensile per i modelli è già una voce visibile e cresce con l’utilizzo;
- nella stessa applicazione convivono attività molto diverse;
- la disponibilità conta: un’interruzione dell’unico fornitore blocca il servizio;
- esistono requisiti su dove possa essere elaborato ciascun tipo di dato.
Non ha senso quando:
- il volume è basso: sotto una certa spesa, la complessità aggiunta costa più di quanto fa risparmiare;
- c’è un solo tipo di attività ed è impegnativa: se tutto richiede la corsia più costosa, il routing non porta nulla;
- non c’è modo di misurare la qualità: senza valutazione, scendere di modello significa ridurre la qualità alla cieca.
Il nostro approccio
Per prima cosa si misura: quali tipi di richiesta ci sono, in quale proporzione e quanto costa oggi ciascuno. Poi si definisce la matrice di routing e si fissa la soglia di qualità per corsia con un set di valutazione proprio. Solo a quel punto si scende di modello dove il risultato regge e si lascia in alto ciò che non regge. Il risparmio si rendiconta rispetto alla fattura reale del mese precedente, non a una stima.
Lavoriamo senza accordi con i fornitori di modelli: la matrice di routing risponde al caso specifico, non al catalogo di qualcuno.
Domande frequenti
Scendere di modello non peggiora la qualità? Nelle attività impegnative sì, ed è per questo che non lo si fa ovunque. Il lavoro consiste nell’individuare dove il modello piccolo dà un risultato indistinguibile e nel misurarlo prima di cambiare.
Occorre sottoscrivere contratti con più fornitori? Non necessariamente: quasi tutti offrono modelli di diverse dimensioni. Lavorare con più fornitori aggiunge resilienza e potere negoziale, ma si può iniziare all’interno di una sola famiglia di modelli.
Quanto si risparmia? Dipende dalla distribuzione delle attività e dal punto di partenza. Il dato utile non è una percentuale generica, ma il confronto tra la fattura prima e dopo, a parità di volume e di qualità misurata.