Los agentes de IA pierden las instrucciones de seguridad en mitad de la tarea: el sistema de protección de los investigadores bloqueó los fallos en las pruebas

Cuando el agente de IA olvida quién es

Imagina que contratas a un consultor experimentado, le das reglas claras al inicio del encargo y, luego, descubres que a mitad del trabajo empieza a ignorarlas, no por mala voluntad, sino porque simplemente se le olvidaron. Es exactamente el escenario que un grupo de investigadores acaba de documentar en los llamados agentes de horizonte largo: sistemas de IA que gestionan tareas complejas a lo largo de cadenas de conversación prolongadas.

El fenómeno ha recibido la sigla GHOST y consiste en que el agente puede llevar a cabo acciones que vulneran las restricciones de seguridad establecidas al principio de la sesión. Según los experimentos de los investigadores, este fallo se produjo en el 11,5 por ciento de los casos con GPT-4.5. No es un error que aparece una vez de cada mil: es un patrón sistemático. Y en el peor de los casos, las consecuencias son irreversibles.

El grupo de investigación también ha desarrollado un sistema de protección, STAR-Guard, que funciona en dos capas: restablece las condiciones de seguridad relevantes a partir del historial de la conversación y revisa las acciones planificadas antes de ejecutarlas. En pruebas controladas, no se produjo ningún episodio GHOST cuando el sistema estaba activado. Es prometedor, pero al mismo tiempo subraya que todavía no podemos confiar a ciegas en que un agente de IA mantenga sus instrucciones sin supervisión activa.

La memoria es la clave, y ahora mejora de forma notable

El problema de que los agentes de IA pierdan el contexto no se limita a las instrucciones de seguridad. Se trata de un problema estructural de memoria. Cuanto más dura una conversación, más información hay que gestionar, y los costes aumentan rápidamente mientras el rendimiento corre el riesgo de disminuir.

Aquí, la comunidad investigadora presenta una solución elegante: GraphMemory, un sistema de memoria basado en grafos que organiza y reutiliza estrategias de forma estructurada. En lugar de exponer al modelo a toda la base de datos de memoria en cada consulta, solo se recupera el subgrafo relevante. El resultado es llamativo: el sistema utiliza un 81–85 por ciento menos de unidades de cómputo al construir la memoria, sin renunciar a la calidad. Esto hace que la memoria de agentes a largo plazo no solo sea posible, sino también económicamente viable en entornos empresariales reales.

Asimismo, un nuevo banco de pruebas llamado Ego2World, que convierte vídeos de cocina en entornos de prueba interactivos para la planificación de IA, confirma que la gestión de memoria persistente mejora la validez de las acciones en más de cuatro puntos porcentuales y reduce los intentos de búsqueda innecesarios en un 90 por ciento. Por tanto, los sistemas de memoria no son solo una cuestión de costes. Se trata de hasta qué punto un agente logra realmente completar sus tareas.

Entrenamiento, retroalimentación y un ecosistema que crece

Los problemas de seguridad y de memoria no pueden resolverse únicamente con una mejor arquitectura; también requieren métodos de entrenamiento más inteligentes. Los investigadores presentan ahora SR-OPD, un método para entrenar modelos de IA más pequeños con ayuda de modelos docentes más grandes, pero a una fracción del coste. El método utiliza solo el 3,5–5 por ciento de la capacidad de cómputo que requiere la supervisión tradicional, y el rendimiento en pruebas de razonamiento avanzado se mantiene prácticamente sin cambios. Se trata de dejar que los propios éxitos del modelo indiquen dónde los recursos de supervisión son más útiles: un enfoque elegante y eficiente en recursos.

En otro rincón del ecosistema, un estudio realizado en colaboración con eBay pone el foco en algo que con demasiada frecuencia se pasa por alto: cómo los sistemas de IA recogen la retroalimentación de los usuarios después de su puesta en funcionamiento. El equipo de investigación constató que las funciones de retroalimentación suelen ser difíciles de encontrar, que la terminología es poco clara y que la perspectiva del usuario se ignora. Una retroalimentación bien diseñada no solo mejora los sistemas, sino que también fortalece la confianza y el compromiso de quienes realmente utilizan la tecnología. En una época en la que las regulaciones y las directrices del sector exigen mejores mecanismos de participación de los usuarios, este no es un detalle menor.

¿Qué significa todo esto en la práctica?

Para quien construye o adquiere agentes de IA para tareas críticas para el negocio, el mensaje es claro: los agentes de horizonte largo requieren supervisión activa de la seguridad, no solo buenas instrucciones iniciales. La problemática GHOST no es un fantasma teórico: es un patrón documentado que exige soluciones a nivel de sistema, como STAR-Guard.

Pero la amplitud de la investigación de esta semana también es una señal de que el sector avanza en la dirección correcta, y con rapidez. Los sistemas de memoria se vuelven más eficientes. Los métodos de entrenamiento se abaratan. Las herramientas de prueba son cada vez más sofisticadas. Y ahora también empezamos a tomarnos en serio cómo recoger y utilizar la retroalimentación de los usuarios reales.

Es una tecnología que madura, con todos los desafíos y oportunidades que eso conlleva.