Un modello predittivo non si guasta all’improvviso: si disallinea poco a poco, continuando a restituire numeri con la stessa sicurezza di sempre. La governance del machine learning impedisce che l’azienda continui a decidere con un modello che ha smesso di essere valido otto mesi fa senza che nessuno se ne accorgesse.
È il secondo strato della governance dell’IA: al di sotto c’è il dato, senza il quale nessun modello è possibile; al di sopra, l’IA generativa e gli agenti, che pongono problemi diversi.
Che cosa si governa esattamente
L’inventario. Quali modelli sono in produzione, che cosa decide ciascuno, su quali dati è stato addestrato, chi ne risponde e quando è stato rivisto l’ultima volta. In molte aziende questo elenco non esiste, e la prima sorpresa del progetto è scoprire quanti modelli sono attivi.
La validazione preventiva. Nessun modello entra in produzione senza un criterio di accettazione concordato con il business: quale errore è tollerabile, in quali segmenti e che cosa succede con i casi che il modello non ha mai visto.
Il drift. I dati in ingresso cambiano (cambiano il mercato, il catalogo, il modo di registrare) e le prestazioni calano senza preavviso. Si monitorano sia la distribuzione degli input sia il risultato reale rispetto a quello previsto, con soglie che fanno scattare una revisione.
Il riaddestramento. Ogni quanto, con quali dati, chi lo approva e come si torna indietro se il nuovo modello è peggiore. Un riaddestramento automatico senza validazione è un modo elegante di rompere il sistema.
La tracciabilità. Poter ricostruire perché il modello ha deciso ciò che ha deciso in una data precisa: versione, dati, parametri e soglie. È ciò che viene richiesto quando un cliente presenta un reclamo o un’autorità di vigilanza fa domande.
La dismissione. Quando si ritira un modello. Quelli che nessuno usa ma che continuano a girare sono puro costo e rischio silenzioso.
La differenza rispetto alla data governance
La data governance risponde alla domanda ciò che ho è affidabile?; quella del machine learning, a ciò che ne deduco è ancora valido?. Si possono avere dati impeccabili e un modello scaduto, così come un modello ben mantenuto che impara da dati sporchi. Sono due controlli distinti e nessuno sostituisce l’altro.
Il collegamento con la normativa
L’AI Act dell’UE non parla di «modelli» in astratto: gli obblighi dipendono dall’uso. Un modello che interviene nella selezione del personale, nella concessione del credito o nell’accesso a servizi essenziali rientra tra i sistemi ad alto rischio ed esige gestione dei rischi, documentazione tecnica, registrazioni e sorveglianza umana. Buona parte di questo fascicolo è esattamente il materiale che produce una buona governance dei modelli; prepararlo dopo, di corsa, costa molto di più. I dettagli normativi sono nella pagina su conformità e governance dell’IA.
Quando avviarla, e quando è prematuro
Sì, quando ci sono più di due o tre modelli attivi, quando qualcuno di essi influisce su decisioni con conseguenze per persone o denaro, o quando il team che li ha costruiti non è più quello che li mantiene.
Non ancora, quando c’è un solo modello in fase pilota e la priorità è dimostrare che porta valore. In quel caso basta registrare ciò che si è fatto, per non doverlo ricostruire a memoria in seguito.
Il nostro approccio
Partiamo dall’inventario, che quasi sempre rivela più modelli del previsto e qualcuno senza un responsabile. Poi fissiamo il criterio di accettazione con il business, non solo con il team tecnico, e predisponiamo il monitoraggio del drift sui modelli che pesano di più. L’obiettivo non è un processo pesante, ma che nessuno debba rispondere «non lo so» alle domande su quali modelli esistono, che cosa decidono e chi ne risponde.
Domande frequenti
Non si tratta di MLOps? L’MLOps è la parte operativa (rilascio, versionamento, monitoraggio) e ha la sua pagina. La governance stabilisce che cosa è accettabile, chi ne risponde e quando ci si ferma. Si appoggia all’MLOps, ma non si esaurisce negli strumenti.
Ogni quanto va rivisto un modello? Dipende dalla velocità con cui cambiano i suoi dati. Ciò che non funziona è fissare un calendario e non guardare nulla tra una revisione e l’altra: il drift si monitora in modo continuo e la revisione scatta quando si supera una soglia.
Chi deve essere il responsabile di un modello? Una persona del business titolare della decisione su cui il modello incide, affiancata da un profilo tecnico. Se l’unico responsabile è il team dati, nessuno sta rispondendo dell’impatto.