Los agentes de IA resuelven apenas una de seis tareas de ingeniería – pero pueden costar 90 por ciento menos de operar

17,5 por ciento – y es el mejor resultado

Cuando los investigadores quisieron averiguar qué tan buenos son realmente los agentes de IA en trabajo de ingeniería avanzada, construyeron CADWorld, un punto de referencia con 200 tareas en el programa CAD FreeCAD. Las tareas abarcan desde esquematización y modelado de piezas hasta ensamblajes y simulaciones de elementos finitos. Los agentes controlaron el software exactamente como lo haría un usuario humano – mediante capturas de pantalla y acciones de interfaz.

El resultado fue desalentador: el más fuerte de los siete agentes probados completó 17,5 por ciento de las tareas. Los ingenieros experimentados completaron el 87 por ciento. No es una pequeña diferencia – es un agujero enorme. Los agentes más débiles se atoraban incluso antes de producir un único documento de diseño válido, mientras que los más fuertes tropezaban con requisitos geométricos y estructurales.

Es un recordatorio importante: navegar una interfaz gráfica no es lo mismo que comprender la lógica de la ingeniería.

Pero el panorama de costos se ve completamente diferente

Al mismo tiempo que CADWorld revela la brecha de desempeño, otra investigación señala que los agentes pueden volverse dramáticamente más eficientes de operar. El sistema EchoPath resuelve un problema clásico: los agentes de IA comunes comienzan desde cero cada vez que ejecutan una tarea, sin importar si han hecho exactamente lo mismo cien veces antes.

EchoPath convierte secuencias de interacción probadas en unidades de memoria reutilizables – piénsalo como herramientas invocables que el agente puede recuperar del estante en lugar de reinventar la rueda. Un algoritmo basado en imágenes asegura que el sistema encuentre el elemento correcto en pantalla incluso cuando el diseño cambia ligeramente. En pruebas reales, el costo promedio de símbolos cayó más de 90 por ciento y el tiempo de ejecución disminuyó aproximadamente 60 por ciento. Estas son cifras que cambian el cálculo empresarial para muchas operaciones.

Robots industriales y decisiones en tiempo real

Otra área donde los agentes comienzan a entregar valor concreto es la robótica industrial. El marco CoAdapt utiliza un gran modelo de lenguaje como director para enjambres de robots – determina en tiempo real qué robots deben compartir sus observaciones de LiDAR y cómo se deben fusionar los datos. El resultado es 38 por ciento menos en costos de comunicación manteniendo la precisión de detección, en comparación con sistemas de referencia estáticos. En entornos de fábrica dinámicos, donde el ancho de banda de red y las posiciones de robots cambian constantemente, es una mejora significativa.

Los errores que se cuelan

Pero cada nuevo área de aplicación también plantea nuevas preguntas sobre confiabilidad. El punto de referencia ParaRecover prueba cómo los agentes manejan errores en llamadas paralelas de herramientas – un escenario cada vez más común cuando los agentes se encadenan juntos. La conclusión después de pruebas en más de diez modelos de lenguaje líderes: incluso los modelos principales tienen dificultades graves con la propagación de errores y la replanificación.

Otro grupo de investigadores ha abordado el problema relacionado de los errores silenciosos – acciones ejecutadas incorrectamente sin generar ningún mensaje de error. Su solución es verificaciones previas que se ejecutan antes de que una acción surta efecto. Para comandos de terminal, se capturó el 95,8 por ciento de comandos inválidos. Y una observación técnica importante: los formatos de edición de código basados en números de línea resultaron ser extremadamente propensos a errores – un desplazamiento de una sola línea corrompió casi todos los archivos de prueba.

Seguridad y memoria – las preguntas difíciles

El panorama de seguridad también es preocupante. El marco Blindspot evalúa agentes de IA en todo el curso de interacción en lugar de respuestas individuales – y encuentra que las brechas de seguridad a menudo no aparecen hasta después de varios pasos inicialmente inofensivos. Esto significa que la seguridad debe considerarse como una propiedad a lo largo del tiempo, no como un simple aprobado o reprobado en un único momento.

En el lado de la memoria, se presenta ThinkFlow, un marco que comprime conversaciones en vectores en un espacio latente e refina continuamente su comprensión del usuario – completamente sin retroalimentación humana. En pruebas tuvo un desempeño significativamente mejor que los sistemas de memoria existentes en tareas que requieren conciencia contextual durante múltiples sesiones de conversación.

Y para los agentes que realmente necesitan aprender a manejar razonamientos complejos de múltiples pasos, el método tlm-DRE ofrece un enfoque de entrenamiento más matizado que pondera diferentes rondas de conversación con diferentes pesos – algo que ha demostrado producir resultados más robustos que los métodos de ajuste tradicionales.

La exageración se encuentra con la realidad

El patrón general es claro: los agentes de IA son genuinamente útiles en un número creciente de contextos, pero no son los superasistentes autónomos que a veces sugiere el marketing. La brecha entre resolver el 17,5 por ciento de tareas CAD y reemplazar a un ingeniero experimentado no es una brecha que se cierre con la próxima versión de modelo. Requiere una comprensión más profunda de la lógica del dominio, mejor manejo de errores y sistemas de seguridad que piensen en líneas de tiempo – no en momentos.