Por qué la explicabilidad de la IA ya no es opcional
Durante años, la explicabilidad de los modelos de IA fue una preocupación secundaria: lo que importaba era la precisión. Esta lógica era comprensible en aplicaciones de bajo riesgo, pero resulta inaceptable cuando un modelo de IA decide si un ciudadano obtiene un crédito, qué tratamiento médico se le recomienda o si su candidatura laboral es apta para pasar a la siguiente fase.
La IA Explicable (XAI, Explainable Artificial Intelligence) es el conjunto de técnicas y metodologías que permiten entender, en términos comprensibles para humanos, cómo y por qué un modelo de IA llega a una predicción o decisión concreta.
Con la entrada en vigor del EU AI Act, la explicabilidad ha pasado de ser una buena práctica a ser un requisito legal para los sistemas de IA de alto riesgo. Los sistemas usados en crédito, empleo, educación, bienestar social y salud deben documentar su funcionamiento, ser transparentes para los usuarios afectados y permitir la supervisión humana significativa.
Técnicas principales de XAI
SHAP (SHapley Additive exPlanations): basado en la teoría de juegos de Shapley, SHAP calcula la contribución marginal de cada variable de entrada a la predicción de un caso concreto. Es el método de referencia en la industria por su solidez matemática y su capacidad de generar tanto explicaciones locales (por qué este modelo predijo este valor para este cliente) como globales (qué variables son más importantes en general para el modelo).
LIME (Local Interpretable Model-agnostic Explanations): entrena un modelo simple e interpretable (regresión lineal) en el entorno local de cada predicción para aproximar el comportamiento del modelo complejo en ese punto específico. Es agnóstico al tipo de modelo y muy flexible, aunque menos consistente matemáticamente que SHAP.
Grad-CAM (Gradient-weighted Class Activation Mapping): específico para redes neuronales convolucionales en visión artificial. Genera mapas de calor que muestran qué regiones de la imagen activaron más la predicción, permitiendo verificar que el modelo está mirando las partes correctas de la imagen (no artefactos o ruido).
Mecanismos de atención: en modelos Transformer para NLP, los pesos de atención muestran qué palabras o tokens el modelo consideró más relevantes para generar una predicción o respuesta concreta.
Modelos intrínsecamente interpretables: en lugar de añadir explicabilidad post-hoc, se pueden elegir modelos que son interpretables por naturaleza: regresión logística (los coeficientes son directamente interpretables), árboles de decisión (la ruta de decisión es explícita), o modelos aditivos generalizados (GAMs) que capturan relaciones no lineales manteniendo la interpretabilidad.
Explicabilidad en sectores regulados en Cantabria
Banca y finanzas: el artículo 22 del RGPD ya exigía el derecho a explicación en decisiones automatizadas de crédito. El EU AI Act refuerza este requisito con la obligación de documentación técnica y registros de conformidad para sistemas de scoring clasificados como alto riesgo. Los supervisores (BCE, EBA, CNMV) exigen que las entidades puedan explicar a los reguladores el funcionamiento de sus modelos de riesgo.
Seguros: la valoración de siniestros o la fijación de primas mediante IA require explicabilidad tanto para el regulador (DGSFP) como para el asegurado, que tiene derecho a conocer los factores que determinan su prima.
Sanidad: los sistemas de soporte a decisiones clínicas deben ser explicables para los profesionales sanitarios que los usan. Un médico que no entiende por qué el sistema recomienda un tratamiento no puede ejercer su juicio clínico responsable.
Cómo añadir explicabilidad a modelos existentes
La explicabilidad post-hoc puede añadirse a modelos ya en producción sin necesidad de reentrenarlos. SHAP, en particular, puede aplicarse a prácticamente cualquier modelo (gradient boosting, redes neuronales, random forests) de forma independiente. Esto significa que las empresas con modelos en producción pueden mejorar su posición regulatoria sin descartar el trabajo previo.
El proceso típico incluye: integrar la librería SHAP en el pipeline de inferencia, generar y almacenar los valores SHAP para cada predicción, diseñar las explicaciones para los distintos públicos (técnico, usuario final, regulador) y establecer el proceso de revisión humana para los casos en los que la explicación indica factores inesperados.
Preguntas frecuentes sobre IA Explicable
¿Existe un único estándar de explicabilidad aceptado por los reguladores? No existe un estándar único, pero SHAP ha alcanzado un nivel de aceptación muy amplio en la industria financiera por sus propiedades matemáticas. El EU AI Act no prescribe una técnica concreta sino que exige que los sistemas de alto riesgo sean suficientemente transparentes para permitir la supervisión humana. La documentación del proceso de desarrollo, las métricas de rendimiento por segmento y la capacidad de explicar decisiones individuales son los elementos más valorados en las inspecciones regulatorias.
¿Los modelos explicables son menos precisos? Históricamente existía un trade-off entre explicabilidad y precisión: los modelos más simples eran más interpretables pero menos precisos. Hoy, los algoritmos de gradient boosting (XGBoost, LightGBM) con SHAP proporcionan alta precisión con explicabilidad post-hoc robusta. En muchos problemas de negocio real la diferencia de precisión respecto a redes neuronales profundas es marginal, y la ganancia en interpretabilidad y confianza regulatoria justifica ampliamente la elección.
¿Cómo se explica un modelo de IA a un cliente que ha sido rechazado en una solicitud de crédito? La práctica más extendida es traducir los valores SHAP de las variables técnicas del modelo a términos comprensibles para el cliente. Por ejemplo, en lugar de decir “el valor SHAP de la variable ‘ratio_endeudamiento’ es -0.23”, se comunica que “el principal factor que ha influido negativamente en su evaluación es su nivel actual de endeudamiento respecto a sus ingresos”. Esta traducción requiere un diseño cuidadoso del sistema de comunicación, que es parte del trabajo de implementación de XAI.