Nuevas pruebas de referencia revelan las deficiencias de los agentes de IA: menos del 43 por ciento de aciertos en preguntas jurídicas
Tres nuevos estudios de investigación ofrecen una imagen desalentadora de la capacidad real de los agentes de IA: el modelo más sólido apenas acierta el 43 por ciento de las preguntas jurídicas formuladas por expertos, y ningún modelo líder maneja las perturbaciones operativas sin graves deficiencias. Pero los hallazgos de los investigadores no apuntan al colapso, sino a un sector que por fin empieza a medirse a sí mismo en serio.
La brecha entre promesa y realidad no es una sentencia de muerte, sino una calibración
Seamos honestos: los agentes de IA se han comercializado como el próximo gran salto hacia la lógica empresarial autónoma. Sistemas que pueden investigar, depurar, planificar y actuar de forma independiente. Pero cuando los investigadores contrastan ahora estas afirmaciones con pruebas de referencia reales, surge una imagen más matizada.
Un equipo de investigación ha presentado Legal Research Bench (LRB), una prueba de referencia con 413 preguntas jurídicas formuladas por expertos. De trece modelos de IA líderes, el más sólido, Claude Opus 4.8, respondió correctamente solo el 42,9 por ciento de las preguntas. Aún más revelador: más pasos de cálculo y más llamadas a herramientas no mejoraron la precisión. Más recursos no dieron, por tanto, mejores respuestas. Es un supuesto fundamental que queda cuestionado.
En el ámbito operativo, la imagen es igual de desalentadora. La prueba de referencia Incident-Arena, basada en entornos de producción reales en clústeres de Kubernetes, muestra que ninguno de los modelos líderes supera el 64,3 por ciento de las tareas, y que cada ejecución de prueba requiere de media 2,81 millones de tokens procesados y 41 interacciones. No es fácil construir un caso de negocio sobre ese consumo de recursos.
Y la cosa no se queda ahí. Un estudio sobre modelos de lenguaje más pequeños en sistemas de agentes (la familia Qwen3, con entre 0,6 y 8 mil millones de parámetros) muestra que ni una sola de las 16 configuraciones de prueba alcanzó el nivel aprobado en tareas parciales más sencillas, como elegir herramientas o aprobar comandos de terminal. La brecha de competencia depende principalmente del tamaño del modelo, no de ajustes técnicos de optimización.
El problema de la evaluación es casi tan grande como el problema de rendimiento
Un detalle que corre el riesgo de pasar desapercibido en el flujo de noticias son los resultados de una revisión estadística de 22 pruebas de referencia de IA. La conclusión es incómoda: al clasificar sistemas terminados, la fiabilidad es alta, pero al intentar evaluar los modelos subyacentes, cae de forma drástica, hasta 0,148 en el peor de los casos. La elección del entorno técnico que rodea al modelo influye en los resultados más de lo que muchos habían supuesto.
Dicho de otro modo: no sabemos realmente lo buenos que son los agentes de IA, porque los medimos mal. Esto no es motivo de pesimismo, sino motivo para empezar a medir bien.
Las soluciones están en camino, y son concretas
Esto es lo que realmente quiero que te lleves: la comunidad investigadora no se limita a documentar fracasos de forma pasiva. Está construyendo soluciones.
ServiceNow CoreAI presenta el marco AutoSynthData, que automatiza el proceso de identificar dónde un modelo de IA falla en un entorno empresarial específico y genera tareas de entrenamiento a medida que abordan sistemáticamente esas debilidades concretas. Es un cambio de gran importancia en principio: pasar de la capacidad general a la fiabilidad específica del entorno.
Los investigadores detrás del método Rules to Tools (R2T) demuestran que los controles programáticos ejecutables, en lugar de las descripciones escritas, dan a los agentes de IA resultados claramente mejores en programación científica, y reducen la cantidad de resultados generados en más de un 31 por ciento. El sistema de memoria Core–Tail World Model (CTWM) reduce el consumo de tokens hasta un 24,5 por ciento sin perjudicar la precisión.
El sistema GAVA aborda otro desafío clásico: ¿qué hace un agente cuando recibe una instrucción incorrecta de una persona? La respuesta no es la obediencia ciega ni la independencia total, sino un procedimiento estructurado de arbitraje en el que el agente puede aceptar, rechazar, investigar o formular preguntas de seguimiento. La precisión al evaluar si las instrucciones son correctas superó el 98 por ciento en las pruebas.
En cuanto a gobernanza, se presenta Praxa, un marco que distingue claramente entre cuándo un agente propone una acción y cuándo la ejecuta realmente, con verificación determinista de permisos y verificación externa de los efectos reales.
El ritmo no es excesivo, pero debe ser más honesto
La cuestión del ritmo de expansión de la IA es legítima. Pero considero que el problema no es la velocidad, sino la brecha de expectativas. Las empresas que invierten basándose en la promesa de agentes totalmente autónomos corren el riesgo de sufrir decepciones. Las empresas que entienden en qué punto de la curva de madurez se encuentran realmente los agentes y construyen estructuras de gobernanza adecuadas a su alrededor son las que ganarán.
La verdadera noticia de esta semana no es que los agentes de IA fracasen. Es que la comunidad investigadora está cartografiando de forma sistemática por qué fracasan, y empieza a ofrecer contramedidas concretas. Así es precisamente como se ve un desarrollo tecnológico maduro.