Los agentes de IA prometen más de lo que cumplen – la investigación revela errores fundamentales

Una ola tecnológica con enorme potencial – y deficiencias evidentes

Sucede mucho, y sucede rápido. En el transcurso de algunas semanas, investigadores han presentado agentes de IA que generan y depuran código de robots para la plataforma industrial de ABB, dirigen enjambres de drones en extinción de incendios y operaciones de búsqueda y rescate, así como mejoran sus propios métodos de trabajo en tiempo real sin necesidad de pausarse para reentrenamiento. Es impresionante. También es un signo de que los agentes de IA como concepto empresarial comienzan a abandonar el laboratorio y se desplazan hacia aplicaciones reales.

Pero es precisamente en ese paso – del entorno de investigación controlado hacia la realidad desordenada – donde surgen las grietas.

Agentes que piensan la cantidad equivocada

Una de las debilidades más fundamentales no tiene nada que ver con la seguridad o la calidad de los datos. Se trata de la reflexión. Una nueva investigación, evaluada en estándares establecidos como MATH-500 y GAIA, muestra que los agentes de IA actuales carecen de la capacidad de adaptar su razonamiento según la dificultad real de la tarea. Piensan demasiado en preguntas simples – lo que aumenta los costos computacionales sin una ganancia proporcional en precisión – y piensan muy poco en las complejas, lo que genera respuestas incorrectas o incompletas. Para un sistema que debe tomar decisiones en un entorno de producción dinámico, este es un problema fundamental.

Paralelamente a esto, investigadores han presentado PILOT, un marco en el que una instancia de IA supervisora puede controlar o interrumpir un suagente activo en tiempo real. El sistema redujo el número de palabras generadas hasta en un 47 por ciento e incrementó más del doble el número de evaluaciones exitosas por millón de palabras generadas. Es un paso prometedor hacia agentes que realmente sepan cuándo deben pensar más – y cuándo deben parar.

Sistemas de memoria bajo presión

Otro hallazgo preocupante se refiere a la memoria de los agentes. Cuando los agentes de IA trabajan con secuencias de tareas más largas – en entornos de terminal, desarrollo de programas o servicios basados en web – corren el riesgo de almacenar experiencias incorrectas que sucesivamente contaminan decisiones futuras. MemGuard aborda esto tratando los resultados de verificación como metadatos persistentes vinculados a cada elemento de memoria, y mostró mejor rendimiento que todos los sistemas de comparación en las 16 combinaciones de pruebas en estándares como SWE-Bench y WebArena.

Pero los problemas de memoria no son únicamente técnicos. La investigación sobre un nuevo problema de seguridad muestra que las decisiones de IA pueden quedar obsoletas antes de ser ejecutadas – en pruebas de cinco entornos simulados, entre 5,3 y 48,4 por ciento de todas las decisiones habían cambiado cuando se ejecutaron. El método Freshness-Bounded Shield redujo la proporción de decisiones obsoletas de hasta 24,7 por ciento a menos del 1,8 por ciento, pero el problema en sí ilustra lo complicado que es permitir que los sistemas de IA actúen de forma autónoma en entornos en tiempo real donde el mundo exterior no espera.

Modelos de evaluación que no pueden juzgar

Uno de los hallazgos más reflexivos en la última ola de investigación se refiere a cómo evaluamos los agentes de IA. AgentJudgeBench – el primer estándar sistemático para probar la confiabilidad de los modelos de evaluación cuando califican llamadas de herramientas de otros agentes – revela un límite estructural: sin acceso a las respuestas correctas, los seis evaluadores probados convergen hacia un estrecho intervalo del 77–82 por ciento, independientemente del tamaño del modelo. La mayor potencia computacional no resuelve el problema. Aún más extraño: para modelos como GPT-4 y Gemini-2.5-Pro, la precisión realmente disminuyó cuando tuvieron acceso a las respuestas correctas, probablemente debido a un anclaje excesivo a la respuesta de referencia.

Esto no es un detalle técnico. Si no podemos confiar en que los sistemas de IA evalúen correctamente otros sistemas de IA, perdemos uno de los mecanismos más importantes para asegurar la calidad en entornos de producción basados en agentes.

De la teoría a la infraestructura

El mundo de la investigación también comienza a tomar en serio las preguntas de control. Un nuevo marco con cinco principios fundamentales – identificación, identidad, gobernanza, certificación y cadena de suministro – propone que las acciones de un agente se revisen contra directrices establecidas antes de ser ejecutadas y registradas en un registro criptográficamente verificable. Cuatro de estos principios ya se ejecutan en proyectos piloto privados. El costo es una mayor latencia, pero para aplicaciones críticas para la seguridad como drones para extinción de incendios o células robóticas autónomas en manufactura, ese compromiso es razonable.

El estándar DuMateBench, construido sobre sesiones de usuario anonimizadas de una plataforma de producción a gran escala, muestra que los cinco marcos de agentes probados combinados con cuatro modelos de lenguaje líderes tienen un desempeño significativamente inferior al esperado en entornos desordenados y reales. No es una calificación deficiente para la comunidad de investigación – es un recuento realista de dónde nos encontramos.

La tecnología madura. Pero madurez y confiabilidad operacional no son la misma cosa.