Por qué la explicabilidad de la IA ya no es opcional
En un tejido industrial como el asturiano, donde conviven la siderurgia de ArcelorMittal en Gijón y Avilés, el aluminio de Alcoa, la industria láctea de Central Lechera Asturiana o la logística del puerto de El Musel, los modelos de IA empiezan a intervenir en decisiones con consecuencias reales: conceder un crédito a una pyme metalúrgica, valorar un siniestro o priorizar un mantenimiento en planta. Durante años, la explicabilidad de los modelos de IA fue una preocupación secundaria frente a la precisión. Esa lógica era comprensible en aplicaciones de bajo riesgo, pero resulta inaceptable cuando un modelo decide si un ciudadano obtiene un crédito, qué tratamiento médico se le recomienda o si su candidatura laboral pasa a la siguiente fase.
La IA Explicable (XAI, Explainable Artificial Intelligence) es el conjunto de técnicas y metodologías que permiten entender, en términos comprensibles para humanos, cómo y por qué un modelo de IA llega a una predicción o decisión concreta.
Con la entrada en vigor del EU AI Act, la explicabilidad ha pasado de ser una buena práctica a ser un requisito legal para los sistemas de IA de alto riesgo. Los sistemas usados en crédito, empleo, educación, bienestar social y salud deben documentar su funcionamiento, ser transparentes para los usuarios afectados y permitir la supervisión humana significativa.
Técnicas principales de XAI
SHAP (SHapley Additive exPlanations): basado en la teoría de juegos de Shapley, SHAP calcula la contribución marginal de cada variable de entrada a la predicción de un caso concreto. Es el método de referencia en la industria por su solidez matemática y su capacidad de generar tanto explicaciones locales (por qué este modelo predijo este valor para este cliente) como globales (qué variables son más importantes en general para el modelo).
LIME (Local Interpretable Model-agnostic Explanations): entrena un modelo simple e interpretable (regresión lineal) en el entorno local de cada predicción para aproximar el comportamiento del modelo complejo en ese punto específico. Es agnóstico al tipo de modelo y muy flexible, aunque menos consistente matemáticamente que SHAP.
Grad-CAM (Gradient-weighted Class Activation Mapping): específico para redes neuronales convolucionales en visión artificial. Genera mapas de calor que muestran qué regiones de la imagen activaron más la predicción, permitiendo verificar que el modelo está mirando las partes correctas de la imagen (no artefactos o ruido).
Mecanismos de atención: en modelos Transformer para NLP, los pesos de atención muestran qué palabras o tokens el modelo consideró más relevantes para generar una predicción o respuesta concreta.
Modelos intrínsecamente interpretables: en lugar de añadir explicabilidad post-hoc, se pueden elegir modelos que son interpretables por naturaleza: regresión logística (los coeficientes son directamente interpretables), árboles de decisión (la ruta de decisión es explícita), o modelos aditivos generalizados (GAMs) que capturan relaciones no lineales manteniendo la interpretabilidad.
Explicabilidad en sectores regulados en Asturias
Banca y finanzas: el artículo 22 del RGPD ya exigía el derecho a explicación en decisiones automatizadas de crédito. El EU AI Act refuerza este requisito con la obligación de documentación técnica y registros de conformidad para sistemas de scoring clasificados como alto riesgo. Los supervisores (BCE, EBA, CNMV) exigen que las entidades puedan explicar a los reguladores el funcionamiento de sus modelos de riesgo, algo crítico para financiar a las empresas industriales y conserveras del Principado.
Seguros: la valoración de siniestros o la fijación de primas mediante IA requiere explicabilidad tanto para el regulador (DGSFP) como para el asegurado, que tiene derecho a conocer los factores que determinan su prima. En un entorno con riesgos tan dispares como la flota pesquera del Cantábrico o las plantas siderúrgicas, la transparencia del modelo es esencial.
Sanidad: los sistemas de soporte a decisiones clínicas deben ser explicables para los profesionales sanitarios que los usan. Un médico que no entiende por qué el sistema recomienda un tratamiento no puede ejercer su juicio clínico responsable.
Cómo añadir explicabilidad a modelos existentes
La explicabilidad post-hoc puede añadirse a modelos ya en producción sin necesidad de reentrenarlos. SHAP, en particular, puede aplicarse a prácticamente cualquier modelo (gradient boosting, redes neuronales, random forests) de forma independiente. Esto significa que las empresas con modelos en producción pueden mejorar su posición regulatoria sin descartar el trabajo previo.
El proceso típico incluye: integrar la librería SHAP en el pipeline de inferencia, generar y almacenar los valores SHAP para cada predicción, diseñar las explicaciones para los distintos públicos (técnico, usuario final, regulador) y establecer el proceso de revisión humana para los casos en los que la explicación indica factores inesperados.
Preguntas frecuentes sobre IA Explicable
¿Existe un único estándar de explicabilidad aceptado por los reguladores? No existe un estándar único, pero SHAP ha alcanzado un nivel de aceptación muy amplio en la industria financiera por sus propiedades matemáticas. El EU AI Act no prescribe una técnica concreta sino que exige que los sistemas de alto riesgo sean suficientemente transparentes para permitir la supervisión humana. La documentación del proceso de desarrollo, las métricas de rendimiento por segmento y la capacidad de explicar decisiones individuales son los elementos más valorados en las inspecciones regulatorias.
¿Los modelos explicables son menos precisos? Históricamente existía un trade-off entre explicabilidad y precisión: los modelos más simples eran más interpretables pero menos precisos. Hoy, los algoritmos de gradient boosting (XGBoost, LightGBM) con SHAP proporcionan alta precisión con explicabilidad post-hoc robusta. En muchos problemas de negocio real la diferencia de precisión respecto a redes neuronales profundas es marginal, y la ganancia en interpretabilidad y confianza regulatoria justifica ampliamente la elección.
¿Cómo se explica un modelo de IA a un cliente que ha sido rechazado en una solicitud de crédito? La práctica más extendida es traducir los valores SHAP de las variables técnicas del modelo a términos comprensibles para el cliente. Por ejemplo, en lugar de decir “el valor SHAP de la variable ‘ratio_endeudamiento’ es -0.23”, se comunica que “el principal factor que ha influido negativamente en su evaluación es su nivel actual de endeudamiento respecto a sus ingresos”. Esta traducción requiere un diseño cuidadoso del sistema de comunicación, que es parte del trabajo de implementación de XAI.