Une formule du monde des données résume avec précision le problème le plus fréquent des projets d’IA : « garbage in, garbage out ». Un modèle d’intelligence artificielle est, au fond, un système qui apprend des schémas à partir des données sur lesquelles il est entraîné. Si ces données sont fausses, incomplètes ou non représentatives, le modèle apprend les mauvais schémas, et ses prédictions ou classifications seront erronées en toute assurance.
Pour les entreprises qui évaluent ou lancent des projets d’IA, la qualité des données est le facteur qui sépare le plus souvent un projet qui crée de la valeur d’un projet qui n’arrive jamais en production.
Pourquoi personne ne veut regarder les données en premier
Il existe une raison pratique pour laquelle de nombreux projets d’IA commencent par la partie la plus visible (le modèle, l’interface, la démonstration) plutôt que par les données : ce sont les données qui révèlent le mieux les problèmes de fond de l’organisation.
Lorsqu’on dresse un inventaire sérieux des données d’une entreprise, des réalités gênantes apparaissent : des doublons que personne n’avait nettoyés, des champs obligatoires que personne ne remplissait en pratique, des systèmes censés être intégrés mais dont les clés diffèrent et qu’on ne peut pas croiser, des historiques correctement tenus depuis peu mais précédés d’années de données incomplètes.
Ce diagnostic dérange parce qu’il révèle des investissements de nettoyage et de gouvernance des données qui ne figuraient pas dans le budget initial. Mais le mener au début, avant d’engager le budget de développement du modèle, est bien plus efficace que de le découvrir à mi-parcours.
Les problèmes de qualité les plus fréquents en entreprise
Valeurs nulles ou manquantes dans des variables clés. Si la variable que le modèle doit prédire, ou celles qu’il utilise pour prédire, présentent une forte proportion de valeurs manquantes, le modèle peine à apprendre des schémas robustes. Parfois, une valeur manquante a un sens en soi (un champ vide dans une commande peut signifier que le client n’a pas exprimé de préférence, et non que la donnée est erronée). Traiter correctement les valeurs manquantes exige de comprendre le métier, pas seulement la donnée.
Doublons. Les logiciels de gestion accumulent des doublons avec le temps : le même client enregistré deux fois, le même fournisseur sous des noms légèrement différents, le même produit sous des codes différents selon les époques. Pour les modèles de machine learning, les doublons faussent les schémas appris.
Incohérences entre systèmes. Une entreprise peut faire fonctionner l’ERP, le CRM, le système de production et le système qualité avec des données censées décrire les mêmes entités (clients, produits, commandes), mais impossibles à croiser parce que les clés ou les formats diffèrent. L’intégration de ces sources est souvent la tâche la plus longue d’un projet de données.
Des données historiques qui ne reflètent pas le présent. Les entreprises changent : le portefeuille de produits, le marché et les processus évoluent. Un historique des ventes vieux de plusieurs années peut ne plus représenter la demande actuelle. Utiliser des données trop anciennes peut conduire le modèle à apprendre des schémas qui ne sont plus valables.
Biais dans les données d’entraînement. Les données reflètent les décisions passées de l’entreprise. Si, historiquement, seuls les clients d’un certain profil ont obtenu un crédit, les données portent ce biais et le modèle peut le perpétuer. Repérer et corriger les biais des données d’entraînement relève de la conception éthique des systèmes d’IA, un aspect que le règlement européen sur l’IA (AI Act) inclut aussi dans ses exigences.
Comment évaluer la qualité des données avant de commencer
Un inventaire de la qualité des données bien mené répond à quatre questions essentielles.
Les données existent-elles et sont-elles accessibles ? Toutes les données qui existent en théorie dans une entreprise ne sont pas accessibles par programme. Les données contenues dans des PDF non structurés, des fichiers Excel éparpillés ou des systèmes anciens sans API demandent un travail supplémentaire d’extraction.
Les données sont-elles complètes ? Pour chaque variable utile au cas d’usage : quelle part des enregistrements est renseignée ? Les valeurs manquantes suivent-elles un schéma (certaines périodes, certains produits, certains clients) susceptible d’introduire un biais ?
Les données sont-elles cohérentes ? Les mêmes notions sont-elles codées de la même façon d’un enregistrement et d’un système à l’autre ? Les unités sont-elles homogènes ? Les formats de date sont-ils constants ?
L’historique est-il suffisant et représentatif ? Couvre-t-il assez de cycles complets du phénomène à modéliser ? Les événements exceptionnels y sont-ils correctement signalés ?
Que faire quand la qualité ne suffit pas
Un diagnostic qui révèle des problèmes de qualité ne condamne pas le projet. Plusieurs options existent.
Nettoyer les données historiques. Pour de nombreux problèmes de qualité, la solution est un nettoyage méthodique de l’historique. Selon le volume et la complexité, ce peut être un projet à part entière ou une phase du projet d’IA.
Ajuster le périmètre du premier projet. Si les données de qualité suffisante ne couvrent qu’une partie du cas d’usage initial, il peut être judicieux de commencer par ce sous-ensemble, celui dont les données sont propres, puis d’élargir le périmètre à mesure que la qualité du reste s’améliore.
Commencer dès maintenant à collecter correctement les données. Si la donnée nécessaire n’existe pas avec une qualité suffisante, c’est maintenant qu’il faut commencer à bien l’enregistrer. Dans certains cas, le projet d’IA débute par une phase d’instrumentation de la collecte, et le modèle n’est construit qu’une fois réuni un historique de qualité suffisant.
Questions fréquentes
Existe-t-il des outils pour évaluer automatiquement la qualité des données ? Oui. Des outils de profilage et de qualité des données analysent automatiquement la complétude, la cohérence, l’unicité et la distribution des données. Ils accélèrent le diagnostic sans le remplacer : l’expert métier reste nécessaire pour interpréter les constats.
La gouvernance des données est-elle la même chose que la qualité des données ? Les deux notions sont liées mais distinctes. La qualité des données décrit leur état actuel (complètes, cohérentes, exactes). La gouvernance des données regroupe les processus, politiques et responsabilités qui garantissent le maintien de cette qualité dans le temps. Sans gouvernance, la qualité se dégrade. Sans données de qualité, la gouvernance n’a pas d’objet. Les projets d’IA bien conçus traitent les deux.
Combien de temps faut-il pour améliorer la qualité des données d’une entreprise ? Cela dépend de l’état initial et du périmètre. Un nettoyage ciblé pour un cas d’usage précis peut aboutir en quelques semaines. L’amélioration de la qualité des données à l’échelle de l’entreprise est une démarche de long terme. La stratégie la plus pragmatique consiste à commencer par les données nécessaires au premier cas d’usage à plus forte valeur.