85 por ciento de vulnerabilidades de comportamiento en agentes de IA probados – un proveedor comprometido puede desencadenar pérdidas similares a una crisis en el sistema bancario

Cuando la base se quiebra bajo lo que construimos

No cabe duda de que nos encontramos en medio de una de las transformaciones más emocionantes en la historia empresarial moderna. Los agentes de IA — sistemas autónomos que leen datos, toman decisiones y ejecutan acciones sin intervención humana en cada paso — se están convirtiendo en la columna vertebral de todo, desde la protección contra fraudes en bancos hasta análisis jurídico y diagnóstico médico. Es una revolución que abrazo de todo corazón.

Pero quien construye sobre arena debe saber de ello.

Un nuevo estudio en arXiv presenta el marco SAGE-RT, una herramienta sistemática para probar la seguridad de agentes de IA sin acceso al código interno o la arquitectura. Los resultados son esclarecedores: en pruebas de las plataformas de agentes comunes CrewAI y AutoGen se midió en promedio 56 por ciento de riesgo de gobernanza, 65 por ciento de riesgo de integridad en configuraciones con múltiples agentes — y hasta 85 por ciento de vulnerabilidades de comportamiento. No son márgenes de error marginales. Son debilidades estructurales en sistemas que ya estamos operando en entorno de producción.

Un proveedor hackeado puede convertirse en el talón de Aquiles de todo el sistema bancario

Si esa cifra no es suficiente para acelerar el pulso, hay más. Un estudio paralelo, también publicado en arXiv, ha construido un modelo matemático que simula qué sucede cuando se compromete un proveedor de IA. La conclusión es contundente: hoy en día, un reducido número de proveedores de IA manejan funciones críticas para bancos en todo el mundo — evaluación crediticia, supervisión de lavado de dinero, protección contra fraudes. Esa concentración no es solo una vulnerabilidad técnica. Es un riesgo sistémico para la estabilidad financiera.

En simulaciones con 60 proveedores de IA y 220 bancos, el modelo mostró cuán rápidamente un único ataque puede escalar a través de conexiones operacionales y financieras — y producir pérdidas que, vistas desde el exterior, se asemejan a una crisis bancaria clásica. Los investigadores también han entrenado un modelo de alerta para identificar proveedores de alto riesgo por adelantado, pero el mensaje a los reguladores es cristalino: la regulación debe llegar ahora, no cuando el daño ya esté hecho.

El jurista de IA que inventa precedentes

Simultáneamente, el grupo de investigadores detrás de LexAgentHallu revela otro problema insidioso. Los agentes de IA jurídicos — sistemas cada vez más utilizados por bufetes de abogados y tribunales — tienden a fabricar sentencias judiciales y citar erróneamente fuentes legales de maneras difíciles de detectar. En pruebas de 18 agentes de IA diferentes se identificó un patrón notable que los investigadores llaman respuesta correcta por razón errónea: el modelo llega a la conclusión correcta, pero a través de una cadena jurídica incorrecta. En contextos jurídicos, no es solo un problema académico — es un problema de seguridad jurídica.

Esto no es un argumento en contra de la IA en el derecho. Es un argumento a favor de que necesitamos mejores herramientas de control antes de delegar procesos jurídicos a sistemas que no comprendemos plenamente.

El control no es enemigo de la innovación

Existen puntos de luz en el mundo investigador. Un nuevo método para el control de activación de grandes modelos de lenguaje aborda el llamado problema de desbordamiento — cuando se intenta ajustar el comportamiento de un modelo en una dirección y el efecto se filtra inadvertidamente a otras áreas. El método no requiere nuevo entrenamiento ni diseño manual de instrucciones, y mejoró significativamente el efecto de control en pruebas. Es precisamente el tipo de capacidad técnica de control que necesitamos escalar.

Igualmente importante es el marco TEAM-Design, que proporciona a las organizaciones una forma estructurada de determinar cuándo el ser humano y la IA realmente funcionan mejor juntos que por separado — y cuándo no es así. En análisis de seis entornos clínicos, ninguna colaboración humano-IA superó ambas alternativas, mientras que un referencia de codificación sí lo hizo. No es un argumento en contra de la colaboración. Es un argumento a favor de que debemos medir en lugar de asumir.

La oportunidad sigue siendo enorme — pero requiere honestidad

Creo genuinamente en la transformación de la IA. Veo cada día cómo sistemas implementados correctamente liberan tiempo, agilizan decisiones y crean valor que anteriormente era imposible alcanzar. Pero la promesa transformadora solo se realiza si construimos sobre una base de confiabilidad real — no sobre optimismo esperanzador.

El hilo conductor en toda esta investigación es el mismo: necesitamos escrutinio sistemático, vigilancia regulatoria y medición honesta de lo que los sistemas realmente hacen. No es un obstáculo para la innovación. Es el precio para poder mantener la confianza de seguir innovando.