Más datos, más agentes, peores resultados: la investigación desmonta los supuestos básicos sobre la IA

Cuando la intuición gana, pero en la dirección equivocada

Hay una lógica seductora en cómo solemos pensar sobre la IA: más agentes resuelven más. Más datos producen mejores respuestas. Instrucciones más detalladas dan resultados más precisos. La última oleada de investigación publicada en arXiv atraviesa esa lógica y nos obliga a repensarla.

Tomemos la cuestión de los agentes de IA que colaboran. Un nuevo estudio que probó cinco modelos avanzados en 77 escenarios distintos muestra que los equipos de agentes rinden de forma consistente peor que un único agente que gestiona las mismas tareas. En entornos sin canal de comunicación entre los agentes, la colaboración se vino abajo por completo. Los agentes se bloqueaban entre sí, sobrescribían las acciones de los demás y, en un hallazgo casi absurdo, inventaban afirmaciones. Un agente asistente personal logró cumplir los deseos del usuario el doble de veces cuando trabajaba solo que cuando lo hacía en un equipo. No es una diferencia marginal. Es un cuestionamiento fundamental de la arquitectura que subyace a la mayoría de las soluciones de agentes a gran escala que las empresas están construyendo ahora mismo.

Más no siempre es más

El mismo fallo lógico aparece cuando observamos la personalización. El supuesto dominante en el sector ha sido durante mucho tiempo que más datos de clientes producen mejores recomendaciones de IA. Investigadores que llevaron a cabo un experimento junto con un gran comercio de muebles presentan ahora una teoría a la que llaman suficiencia de contexto, y que da la vuelta a todo el razonamiento.

Los resultados son concluyentes: los sistemas de IA generativa rinden peor cuando se les alimenta con información contextual irrelevante, aunque el volumen total de datos aumente. El punto óptimo —lo que los investigadores denominan el umbral de suficiencia de contexto— no consiste en maximizar la recopilación de datos, sino en identificar el conjunto mínimo de información relevante que realmente se necesita para la situación concreta. La personalización inteligente del futuro, por tanto, no trata de recopilar más, sino de comprender qué es lo que realmente importa.

Un error de razonamiento similar se documenta en relación con los perfiles profesionales específicos de IA. Un análisis de 503 de estos perfiles del proyecto abierto Scientific Agents mostró que las descripciones detalladas de roles daban, de media, una precisión 0,6 puntos porcentuales inferior a la de una indicación sencilla como «Eres un asistente servicial», y costaban entre 2,2 y 4,5 veces más por llamada. En las tareas de bioinformática, la diferencia fue aún más profunda. Es un malentendido costoso que muchas organizaciones probablemente arrastran sin saberlo.

Donde los avances se producen de verdad

Sin embargo, el panorama no es solo desalentador, todo lo contrario. En el frente de la seguridad se está realizando un trabajo genuinamente pionero, y merece la pena destacarlo.

Los ataques de puerta trasera contra los modelos de lenguaje —en los que un modelo es manipulado para comportarse de forma dañina cuando se activan disparadores ocultos— se han considerado durante mucho tiempo uno de los problemas más difíciles de la seguridad práctica de la IA. Ahora se presentan no uno, sino dos métodos independientes para neutralizar estos ataques.

El primero, llamado Quarantined Expert Shutdown, permite que la puerta trasera se forme durante el entrenamiento, pero la canaliza hacia un componente aislado. En el despliegue basta una sola acción —poner a cero el peso de enrutamiento de ese componente— para neutralizar la amenaza. La proporción de ataques exitosos bajó del 100 por ciento a entre el 0 y el 10 por ciento en la mayoría de los escenarios.

El segundo método se basa en la proyección sobre el espacio nulo y es notable por otra razón: no requiere conocer el diseño del ataque, disponer de datos de referencia no alterados ni reentrenar el modelo. Los resultados son comparables, con una frecuencia de ataques que cae por debajo del 10 por ciento, y el método se considera de gran aplicabilidad práctica en el despliegue seguro de la IA.

A ello se suma Sapien, un nuevo motor de seguridad para agentes de IA autónomos que tiene en cuenta lo que el agente ya ha hecho durante las tareas en curso. En el entorno de pruebas AgentDojo, Sapien bloquea entre el 93 y el 95 por ciento de los ataques, con un deterioro solo marginal de la utilidad real.

Lo que dice realmente el frente de la investigación

El patrón general de esta oleada de investigación no es que la IA esté sobrevalorada, sino que los supuestos erróneos sobre cómo funciona la IA lo están. Más agentes, más datos, perfiles más detallados: es intuitivamente atractivo, pero empíricamente incorrecto en una serie de casos de aplicación reales. Al mismo tiempo, el trabajo para que los sistemas de IA sean realmente fiables y seguros en la práctica se acelera. Esto no es un paso atrás. Es precisamente la madurez que se necesita para que la IA pueda cumplir su promesa real.