La pregunta que hunde la mayoría de los proyectos de IA en el comité de dirección no es «¿funciona?». Es «¿cómo sabes que funciona?». Sin una respuesta con números, la IA en producción es un acto de fe que alguien acabará retirando.
Por qué no basta con probarlo
Un sistema de IA no falla como el software clásico. No se cae: empieza a responder algo peor. Un cambio en las instrucciones que mejora un caso estropea otros tres. Una actualización del modelo por parte del proveedor mueve el comportamiento sin que nadie haya tocado nada. Y el equipo que lo prueba a mano siempre prueba los mismos cinco ejemplos, que son justo los que ya funcionan.
Lo que hace falta es un banco de pruebas propio y una forma de mirar lo que ocurre de verdad en producción.
Las cuatro piezas
Conjunto de evaluación propio. Entre 50 y 300 casos reales de tu empresa con el resultado esperado, incluidos los difíciles y los que un día salieron mal. Se construye a partir del histórico y crece con cada incidencia. Es el activo más valioso del proyecto y no lo puede aportar ningún proveedor.
Jueces automáticos. Para lo que no tiene respuesta única —un resumen, una contestación a un cliente— se define qué hace válida una respuesta y se usa un modelo como evaluador con esos criterios, contrastado contra juicio humano en una muestra. No es perfecto; es lo que permite pasar de cinco pruebas a doscientas.
Detección de regresiones. Cada cambio —instrucciones, modelo, herramientas— se pasa por el conjunto completo antes de salir. Si la nota baja, no sale. Es la práctica que convierte un piloto en un sistema mantenible.
Trazas en producción. Qué pidió el usuario, qué decidió el agente, qué herramientas usó, qué devolvieron, cuánto tardó y cuánto costó. Sin trazas no hay diagnóstico posible cuando algo va mal, ni defensa ante una reclamación o una auditoría.
Qué se mide
Además de la calidad, tres indicadores que suelen olvidarse: tasa de finalización (cuántas tareas termina el agente sin ayuda), tasa de escalado (cuántas acaban en una persona) y coste por tarea resuelta, que conecta con la tokeneconomics. Un agente con excelente calidad y un 70% de escalado no está resolviendo el problema.
Para sistemas afectados por el EU AI Act, buena parte de este material —trazas, métricas, registro de cambios— es además la evidencia que exige la norma. Se detalla en cumplimiento y gobierno de la IA.
Cuándo montarlo
Antes de construir el agente, no después. El orden correcto es: definir cómo se medirá el éxito, montar el conjunto de evaluación, y entonces desarrollar. Un proyecto que llega a producción sin evaluación no se puede mejorar; solo se puede rehacer.
No hace falta cuando el sistema es de uso interno, esporádico y sin consecuencias: ahí basta con revisión humana.
Cómo lo abordamos
Construimos el conjunto de evaluación con el equipo que hoy hace el trabajo a mano —son quienes saben qué respuesta es buena— y fijamos el listón antes de escribir código. Las trazas se instrumentan desde el primer día. El resultado es un panel con la evolución de calidad, escalado y coste, que es el material con el que se defiende o se cancela la inversión en el comité.
En Asturias el banco de pruebas se arma con órdenes de trabajo de la siderurgia y con los registros de trazabilidad del lácteo y de la industria conservera, donde la exigencia de auditoría hace que el histórico esté mejor conservado que la media.
Preguntas frecuentes sobre evaluación de agentes
¿Cuántos casos hacen falta para empezar? Con 50 bien elegidos ya se detectan las regresiones grandes. Lo importante es que sean casos reales y que incluyan los difíciles, no que sean muchos.
¿Un modelo puede juzgar a otro modelo? Con criterios explícitos y contrastado contra juicio humano en una muestra, sí, y es lo que hace viable evaluar a escala. Sin ese contraste, no.
¿Esto no lo dan las plataformas del proveedor? Dan la instrumentación. Los casos, los criterios de calidad y el listón son tuyos, y son la parte que de verdad decide.