Perché la spiegabilità dell’IA non è più facoltativa
Per anni la spiegabilità dei modelli di IA è stata una preoccupazione secondaria: contava la precisione. Questa logica era comprensibile nelle applicazioni a basso rischio, ma diventa inaccettabile quando un modello di IA decide se un cittadino ottiene un credito, quale trattamento medico gli viene raccomandato o se la sua candidatura può passare alla fase successiva di una selezione.
L’IA spiegabile (XAI, Explainable Artificial Intelligence) è l’insieme di tecniche e metodologie che permettono di capire, in termini comprensibili per le persone, come e perché un modello di IA arriva a una determinata previsione o decisione.
Con l’entrata in vigore dell’AI Act dell’UE, la spiegabilità è passata da buona pratica a requisito di legge per i sistemi di IA ad alto rischio. I sistemi usati in ambito creditizio, occupazionale, educativo, assistenziale e sanitario devono documentare il proprio funzionamento, essere trasparenti verso gli utenti interessati e consentire una sorveglianza umana effettiva.
Le principali tecniche di XAI
SHAP (SHapley Additive exPlanations): basato sulla teoria dei giochi di Shapley, SHAP calcola il contributo marginale di ogni variabile di input alla previsione relativa a un caso specifico. È il metodo di riferimento nel settore per la sua solidità matematica e per la capacità di generare sia spiegazioni locali (perché il modello ha previsto questo valore per questo cliente) sia globali (quali variabili contano di più, in generale, per il modello).
LIME (Local Interpretable Model-agnostic Explanations): addestra un modello semplice e interpretabile (una regressione lineare) nell’intorno locale di ogni previsione, per approssimare il comportamento del modello complesso in quel punto specifico. È indipendente dal tipo di modello e molto flessibile, anche se matematicamente meno coerente di SHAP.
Grad-CAM (Gradient-weighted Class Activation Mapping): specifico per le reti neurali convoluzionali nella visione artificiale. Genera mappe di calore che mostrano quali regioni dell’immagine hanno inciso di più sulla previsione, così da verificare che il modello stia guardando le parti corrette dell’immagine e non artefatti o rumore.
Meccanismi di attenzione: nei modelli Transformer per l’NLP, i pesi di attenzione indicano quali parole o token il modello ha considerato più rilevanti per generare una determinata previsione o risposta.
Modelli intrinsecamente interpretabili: invece di aggiungere la spiegabilità a posteriori, si possono scegliere modelli interpretabili per natura: la regressione logistica (i coefficienti sono direttamente interpretabili), gli alberi decisionali (il percorso decisionale è esplicito) o i modelli additivi generalizzati (GAM), che catturano relazioni non lineari mantenendo l’interpretabilità.
La spiegabilità nei settori regolamentati
Banche e finanza: l’articolo 22 del GDPR prevedeva già il diritto a una spiegazione nelle decisioni automatizzate sul credito. L’AI Act rafforza questo requisito con l’obbligo di documentazione tecnica e di registrazioni di conformità per i sistemi di scoring classificati ad alto rischio. Le autorità di vigilanza (BCE, EBA, ESMA e autorità nazionali di vigilanza) chiedono che gli istituti siano in grado di spiegare il funzionamento dei propri modelli di rischio.
Assicurazioni: la valutazione dei sinistri o la definizione dei premi tramite IA richiede spiegabilità sia verso le autorità di vigilanza (l’EIOPA a livello europeo e le autorità nazionali di vigilanza sulle assicurazioni) sia verso l’assicurato, che ha il diritto di conoscere i fattori che determinano il suo premio.
Sanità: i sistemi di supporto alle decisioni cliniche devono essere spiegabili per i professionisti sanitari che li usano. Un medico che non capisce perché il sistema raccomanda un trattamento non può esercitare in modo responsabile il proprio giudizio clinico.
Come aggiungere la spiegabilità ai modelli esistenti
La spiegabilità a posteriori si può aggiungere ai modelli già in produzione senza doverli riaddestrare. SHAP, in particolare, si applica in modo indipendente a praticamente qualsiasi modello (gradient boosting, reti neurali, random forest). Le aziende con modelli in produzione possono quindi migliorare la propria posizione rispetto alla normativa senza scartare il lavoro già fatto.
Il processo tipico comprende: integrare la libreria SHAP nella pipeline di inferenza, generare e archiviare i valori SHAP di ogni previsione, progettare le spiegazioni per i diversi destinatari (tecnici, utenti finali, autorità di vigilanza) e definire il processo di revisione umana per i casi in cui la spiegazione segnala fattori inattesi.
Domande frequenti
Esiste un unico standard di spiegabilità accettato dalle autorità di vigilanza? Non esiste uno standard unico, ma SHAP ha raggiunto un livello di accettazione molto ampio nel settore finanziario grazie alle sue proprietà matematiche. L’AI Act non prescrive una tecnica specifica, ma richiede che i sistemi ad alto rischio siano sufficientemente trasparenti da consentire la sorveglianza umana. La documentazione del processo di sviluppo, le metriche di prestazione per segmento e la capacità di spiegare le singole decisioni sono gli elementi più apprezzati nelle ispezioni.
I modelli spiegabili sono meno precisi? In passato esisteva un compromesso tra spiegabilità e precisione: i modelli più semplici erano più interpretabili ma meno precisi. Oggi gli algoritmi di gradient boosting (XGBoost, LightGBM) abbinati a SHAP offrono un’elevata precisione con una spiegabilità a posteriori solida. In molti problemi di business reali la differenza di precisione rispetto alle reti neurali profonde è marginale, e il guadagno in interpretabilità e fiducia delle autorità ne giustifica ampiamente la scelta.
Come si spiega un modello di IA a un cliente la cui richiesta di credito è stata respinta? La prassi più diffusa è tradurre i valori SHAP delle variabili tecniche del modello in termini comprensibili per il cliente. Per esempio, invece di dire «il valore SHAP della variabile “rapporto_indebitamento” è -0,23», si comunica che «il fattore principale che ha inciso negativamente sulla valutazione è l’attuale livello di indebitamento rispetto al reddito». Questa traduzione richiede una progettazione accurata del sistema di comunicazione, che fa parte del lavoro di implementazione della XAI.