«Abbiamo molti dati, ma non li stiamo sfruttando.» Sentiamo questa frase di continuo. E anche il suo contrario: «Non abbiamo abbastanza dati per l’IA.» Curiosamente, a volte entrambe le affermazioni provengono dalla stessa azienda, a seconda dell’interlocutore.
In realtà i dati necessari per l’IA dipendono interamente dal tipo di progetto. Non esiste una soglia universale. Esistono però criteri chiari per valutare se i dati disponibili sono sufficienti per un caso d’uso specifico, e che cosa fare quando non lo sono.
Il mito dei «big data»
Uno dei malintesi più diffusi è che l’IA richieda quantità enormi di dati. Il malinteso nasce in parte dal marketing degli ultimi anni, che associava l’IA ai progetti di Google o Amazon con miliardi di record elaborati.
La realtà aziendale è diversa. Un modello di previsione delle vendite per un’azienda di medie dimensioni può funzionare perfettamente con uno storico sufficiente degli ordini: non necessariamente volumi enormi, ma dati rappresentativi del business. Un sistema di rilevamento delle anomalie su una linea di produzione può essere addestrato con lo storico disponibile dei dati dei sensori. Un classificatore di documenti può essere preciso con centinaia di esempi etichettati, non milioni.
Ciò che conta non è il volume assoluto, ma se i dati coprono una variabilità sufficiente del fenomeno da modellare. Un anno di dati in un’attività stagionale vale molto meno di tre anni che comprendono diversi cicli completi.
Le tre dimensioni che contano davvero
Pertinenza. I dati disponibili devono contenere informazioni sulle variabili che determinano il risultato da prevedere o automatizzare. Sembra ovvio, ma non lo è: molte aziende hanno dati abbondanti su ciò che è facile misurare (tempi di processo, quantità prodotte) e dati scarsi su ciò che determina i risultati più importanti (motivi di abbandono dei clienti, cause profonde dei difetti di qualità).
Qualità. I dati possono esistere ma essere inutilizzabili se presentano alte percentuali di valori nulli, errori di inserimento sistematici, duplicati o incoerenze tra sistemi. Una regola pratica: se nelle variabili chiave mancano più del 20-30% dei valori, il progetto di pulizia dei dati precede quello di IA.
Struttura temporale. Per i modelli predittivi, lo storico deve coprire un periodo abbastanza lungo perché il modello apprenda gli andamenti rilevanti. Se l’attività ha una stagionalità annuale, due o tre anni di dati sono molto più utili di sei mesi.
Tipi di progetto e relativi requisiti di dati
Automazione con l’IA generativa (classificazione delle email, sintesi di documenti, generazione di risposte): non richiede dati di addestramento propri, perché i grandi modelli linguistici sono già preaddestrati. Servono i documenti o i testi che fungono da contesto (manuali, cataloghi, FAQ). Qualsiasi azienda con documentazione interna ne ha a sufficienza.
Modelli predittivi supervisionati (domanda, abbandono dei clienti, prezzi): richiedono lo storico della variabile da prevedere e delle variabili esplicative pertinenti. Il volume minimo dipende dal problema: servono abbastanza esempi dell’evento da prevedere perché il modello ne apprenda lo schema. Se l’evento è raro, lo storico necessario è più ampio. Più dati si hanno, meglio è, anche se oltre una certa soglia il beneficio marginale diminuisce.
Visione artificiale (controllo qualità, classificazione di immagini): richiede immagini etichettate per categoria. Il volume minimo dipende dalla complessità del problema, ma un riferimento abituale è di alcune centinaia di immagini per classe. Con le tecniche di transfer learning questo requisito si riduce in modo significativo.
Rilevamento delle anomalie (manutenzione predittiva, frodi): può funzionare con dati prevalentemente «normali» se il fenomeno anomalo è raro. I modelli apprendono prima il comportamento normale e poi individuano gli scostamenti. Lo storico di guasti o frodi aiuta, ma non è sempre indispensabile.
Che cosa fare quando i dati non bastano
È la situazione più frequente nelle aziende che iniziano il proprio percorso con l’IA, e non deve necessariamente bloccare il progetto.
Cominciare a raccogliere i dati in modo sistematico. Se il dato necessario oggi non viene registrato, il momento di iniziare a farlo è adesso. Molti progetti di IA riusciti sono cominciati sei o dodici mesi prima di addestrare un solo modello, con la costruzione dell’infrastruttura di raccolta dei dati.
Adattare il caso d’uso ai dati disponibili. Invece di affrontare il problema ideale, affrontare quello che i dati attuali consentono di risolvere. Un modello meno ambizioso ma in produzione genera più valore di un modello perfetto che non vedrà mai la luce.
Tecniche di data augmentation. Nella visione artificiale esistono tecniche per moltiplicare artificialmente il volume dei dati di addestramento (rotazioni, variazioni di illuminazione e simili). In altri ambiti, le tecniche di sintesi dei dati consentono di ampliare un set di addestramento ridotto.
Transfer learning. I modelli preaddestrati su grandi dataset possono essere adattati ad attività specifiche con relativamente pochi dati propri. Questa tecnica ha ridotto in modo notevole i requisiti di dati di addestramento per molti tipi di problemi.
Il censimento dei dati come primo passo
Prima di decidere se i dati sono sufficienti per un progetto di IA, vale la pena svolgere un censimento sistematico: quali dati vengono registrati, in quali sistemi si trovano, con quale qualità, da quando e se possono essere esportati e incrociati con altre fonti.
Questo censimento, che fa parte di ciò che un audit dell’IA svolge in modo sistematico, raramente produce sorprese estreme, positive o negative. Di solito si trovano dati sufficienti per alcuni casi d’uso prioritari, dati di qualità migliorabile per altri e lacune evidenti che indicano dove investire nell’infrastruttura dei dati.
Domande frequenti
I dati di fornitori o le fonti esterne possono integrare quelli interni? Sì, in molti casi. I dati meteorologici, economici o sul traffico possono arricchire i modelli previsionali. I dati di settore o i benchmark di comparto possono fornire contesto. L’importante è verificare che l’integrazione di dati esterni rispetti la normativa sulla privacy applicabile e che tali dati abbiano la qualità e la frequenza di aggiornamento di cui il modello ha bisogno.
Quanto tempo serve per «pulire» i dati di un progetto di IA? Dipende dalla situazione di partenza. Nei progetti in cui i dati risiedono in sistemi ben mantenuti, la preparazione è relativamente lineare. In quelli in cui i dati provengono da più fonti, con formati eterogenei e problemi di qualità, la preparazione può essere di gran lunga il lavoro più lungo dell’intero progetto.
Che cosa succede con i dati personali dei clienti? Lavorare con dati personali nei progetti di IA ha implicazioni ai sensi del GDPR e, a seconda del tipo di progetto, del regolamento europeo sull’IA (AI Act). La minimizzazione dei dati (usare solo quelli strettamente necessari) e l’anonimizzazione o pseudonimizzazione dei dati di addestramento sono buone pratiche che riducono il rischio normativo e anche i rischi per la privacy.