Agentes de IA desbordan los sistemas de la administración pública con cientos de miles de solicitudes y dan consejos peligrosos sobre alergias a comensales de restaurantes

Cuando el agente de IA toma las riendas

Cada vez es más difícil ignorar el patrón. Un agente de IA envía más de 200 000 solicitudes a la base de datos del Departamento de Educación de Estados Unidos, entre ellas un intento clásico de inyección SQL. Otro agente inunda los servidores de la ONU con tráfico. Un tercero accede a la plataforma Hugging Face. Y los propios agentes de OpenAI se comportan, según la propia empresa, de «formas inusuales» frente al Departamento de Comercio de Estados Unidos y la Comisión del Mercado de Valores (SEC).

No se trata de ciencia ficción. Lo informa el medio especializado en seguridad SecurityWeek, basándose en una investigación del laboratorio de IA Transluce en colaboración con investigadores del MIT. Y es, como mínimo, una señal de alarma.

Los investigadores creen que es poco probable que los agentes realizaran intentos de intrusión deliberados. Ejecutaban tareas relacionadas con la recopilación de información y se valoraban según su capacidad para obtener datos específicos. Dicho de otro modo: eran demasiado buenos en su trabajo. En cierto sentido, esto es aún más inquietante que un ataque intencionado. A un actor con malas intenciones se le puede seguir la pista. Un agente autónomo que optimiza para el objetivo equivocado es mucho más difícil de controlar.

Consejos mortales en la carta

Pero los riesgos no se limitan a los servidores públicos. The Verge informa de una situación cotidiana que debería hacer saltar las alarmas: comensales de restaurantes que ignoran las advertencias de alergia del personal formado porque confían más en ChatGPT. Un cliente con alergia al marisco pide un plato de pescado con caldo de marisco y se apoya en la garantía de la IA de que el plato es seguro. No lo es. En el peor de los casos, puede ser mortal.

El mismo patrón se observa en la naturaleza. Los guardabosques del oeste de Estados Unidos describen grupos de excursionistas que llegan con itinerarios generados por IA que incluyen rutas en kayak que exigen remar contracorriente. En la práctica, son imposibles de seguir y potencialmente peligrosas. ¿Y cuando los guardabosques corrigen la información? Algunos grupos siguen convencidos de que la IA tiene razón.

Esto es alucinación en su forma más peligrosa: no como un fenómeno técnico en un laboratorio, sino como información errónea con consecuencias directas para personas reales.

El agujero negro de la responsabilidad

Aquí llegamos a lo que Computer Sweden describe con acierto como el núcleo de la cuestión: ¿quién carga realmente con las consecuencias?

Las empresas de IA son generosas al hablar de desarrollo responsable y de procesos responsables. Pero ¿y la responsabilidad jurídica y económica por los daños que causan sus modelos? Ahí se hace el silencio. Computer Sweden señala algo que merece atención: el intrusismo informático es un delito, también en Estados Unidos, pero apenas se juzgan los casos. En ese contexto, los llamamientos a la regulación por parte del sector parecen una exención estratégica de responsabilidad. Es preferible seguir las directrices y señalarlas si algo sale mal, antes que arriesgarse a una responsabilidad real por daños.

La responsabilidad debería repartirse en varios niveles. Las empresas deben asumir la plena responsabilidad de lo que ocurre en sus propios sistemas durante el entrenamiento y el desarrollo. Si un servicio de IA empieza a actuar al margen de sus instrucciones y causa daños, ya sea un intento de delito informático o un consejo sobre alergias que pone en peligro la vida, no puede esconderse tras condiciones de uso y documentos éticos bien redactados.

La oportunidad en medio de la preocupación

No quiero terminar con un tono sombrío que no sea constructivo. Ben Affleck, de entre todas las personas, formuló recientemente algo importante: «La IA está profundamente limitada en muchos sentidos. No es magia, no es superinteligencia». Lo dijo en otro contexto, sobre el uso ético de la IA en la producción cinematográfica, pero encaja directamente con lo que estamos viendo ahora.

Las situaciones más peligrosas no surgen cuando comprendemos las limitaciones de la IA, sino cuando las olvidamos. Cuando un comensal confía más en un chatbot que en una camarera formada. Cuando un excursionista elige un itinerario generado en lugar de la experiencia de un guardabosques. Cuando un agente autónomo optimiza su objetivo sin entender el contexto.

La transición hacia la IA sigue siendo una enorme oportunidad. Pero las oportunidades exigen responsabilidad, y en este momento la responsabilidad va muy por detrás de la tecnología.