Investigadores han desarrollado una fórmula que predice cuándo los chatbots de IA empiezan a dar respuestas dañinas

Cuando la conversación da un giro

La mayoría de nosotros tiene la intuición de que una conversación larga y compleja con un chatbot de IA a veces puede tomar giros extraños. Pero que esa sensación pueda expresarse ahora como una fórmula matemática es otra cosa.

Los investigadores Neil Johnson y Yingjie Huo, de la George Washington University, han desarrollado, según SecurityWeek, un modelo que predice con buena precisión cuándo un chatbot de IA cruza la frontera y empieza a generar respuestas no deseadas o directamente dañinas. Y el mecanismo que lo explica es más elegante de lo que cabría esperar.

El núcleo del problema es lo que los expertos en IA llaman mecanismo de atención: el componente de un modelo de lenguaje que determina qué partes de una conversación en curso pesan más cuando el modelo formula su siguiente respuesta. Dicho de forma sencilla: el modelo lleva la cuenta de lo que se ha dicho y sopesa unas cosas frente a otras. Pero el contexto acumulado de un diálogo largo puede desplazar gradualmente este mecanismo. Palabra por palabra, pregunta tras pregunta, hasta que se supera un umbral y el modelo empieza a comportarse de formas que no debería.

Recuerda a cómo se calienta el agua en una cacerola. Durante mucho tiempo no ocurre nada visible y, de pronto, hierve.

Modelos locales en el punto ciego de la seguridad

Lo que hace especialmente urgente esta investigación es su enfoque en los llamados modelos de IA locales, es decir, aquellos que se ejecutan directamente en tu teléfono u ordenador, sin conexión con servicios en la nube. Es una categoría que crece con rapidez y, según el estudio, la mitad de la población mundial ya lleva en sus dispositivos equipos capaces de ejecutar asistentes de IA personales sin conexión a internet.

El problema es que estos modelos carecen de funciones de seguridad importantes que los servicios basados en la nube dan por sentadas: supervisión de las conversaciones en tiempo real, la posibilidad de actualizar los parámetros del modelo después de su puesta en funcionamiento y registro centralizado. Un modelo local que empieza a comportarse mal puede hacerlo por completo sin que nadie lo note.

Es un ámbito que hasta ahora ha quedado en el punto ciego del trabajo de seguridad, y precisamente por eso este tipo de análisis fundamental y predecible resulta tan valioso.

Siete modelos, una teoría

Para probar su fórmula, Johnson y Huo realizaron experimentos con siete modelos de lenguaje abiertos de tres categorías diferentes, con tamaños que van desde 124 millones hasta 12 mil millones de parámetros, es decir, un amplio abanico que abarca desde modelos compactos para dispositivos periféricos hasta sistemas mucho más potentes. Los resultados mostraron una buena concordancia con la teoría matemática, tanto si el comportamiento desviado aparecía al principio como al final de la conversación.

Es un resultado sólido. Que la misma fórmula funcione para modelos de tamaños y arquitecturas tan diferentes indica que se ha identificado algo fundamental en el funcionamiento del mecanismo de atención: no un fallo de un modelo concreto, sino una propiedad estructural de toda la familia de modelos de lenguaje basados en transformadores.

Qué significa para el trabajo de seguridad

Para quienes trabajamos en el desarrollo de sistemas y la integración de IA, este tipo de investigación resulta realmente estimulante. No porque dibuje una imagen distópica de chatbots incontrolables, sino porque nos ofrece una herramienta.

Hoy gran parte del trabajo de seguridad en torno a los modelos de IA es reactivo: se prueba, se detectan problemas y se parchea. Con una fórmula predecible, en cambio, se puede empezar a pensar de forma proactiva: incorporar límites en el diseño de las conversaciones, establecer umbrales para la duración de las sesiones o marcar las conversaciones que se acercan a la zona de riesgo antes de que algo salga mal.

Además, abre la puerta a un proceso de certificación más riguroso. Si podemos cuantificar el riesgo, también podremos definir qué nivel de riesgo es aceptable. Es precisamente el tipo de base matemática que marcos regulatorios, como el Reglamento de IA de la UE, necesitan para funcionar en la práctica y no solo sobre el papel.