Investigadores de IA despedidos dan la voz de alarma: las empresas pierden el control de sus propios sistemas

Cuando quienes más saben empiezan a dar la alarma

Hay un tipo de alarma que pesa más que otras: la que viene desde dentro. Jasmine Wang, Tomek Korbak y Mikita Balesni no son críticos anónimos en internet. Son investigadores de seguridad que han dedicado su tiempo de trabajo a entender en profundidad cómo funcionan los modelos de IA avanzados. Ahora, tras haber sido despedidos de OpenAI en circunstancias controvertidas, han dirigido una carta directamente a la junta directiva de la empresa y a sus comités de seguridad. El mensaje es claro: las empresas de IA corren el riesgo de perder la capacidad de entender —y, por extensión, de controlar— los sistemas que ellas mismas desarrollan.

Así lo informa Ny Teknik, citando al Wall Street Journal, que ha tenido acceso a la carta. El trío sostiene que es crucial que los procesos de razonamiento de los modelos de IA avanzados sigan siendo susceptibles de revisión y supervisión desde fuera. Cuanto más rápido escalan los sistemas, más difícil resulta mantener esa capacidad de comprensión.

OpenAI ha respondido que la empresa coincide en el fondo con las recomendaciones de los investigadores sobre una mayor seguridad y una revisión independiente. Es una postura paradójica, dado que las tres personas que plantearon estas exigencias acababan de ser despedidas por la misma empresa, acusadas de haber compartido información confidencial con una organización externa, algo que ellas mismas niegan.

La teoría se enfrenta a la realidad

Mientras el debate interno sobre control y revisión continúa en el nivel directivo, un nuevo estudio analiza lo que las deficiencias pueden significar en la práctica, para usuarios reales en situaciones reales.

La organización sin ánimo de lucro Common Sense Media ha analizado cómo ChatGPT gestiona conversaciones delicadas con adolescentes, y los resultados son difíciles de ignorar, según informan la BBC y Ny Teknik. Pese a que OpenAI introdujo el pasado verano medidas de seguridad específicas para usuarios de entre 13 y 17 años, los padres no recibieron ninguna alerta ni siquiera tras conversaciones de horas sobre pensamientos suicidas, autolesiones o trastornos alimentarios, y todo ello en cuentas registradas expresamente a nombre de menores.

Common Sense Media exige ahora que OpenAI excluya por completo a los usuarios menores de 18 años hasta que las medidas de protección demuestren funcionar de manera fiable en la práctica.

OpenAI cuestiona el método de prueba y sostiene que los resultados no reflejan el uso real. La empresa afirma que los adolescentes utilizan el servicio una media de menos de 15 minutos al día y que ese uso se centra en gran medida en el aprendizaje. Es posible que eso sea cierto, pero no cambia el hecho de que el sistema, cuando se enfrenta a una conversación delicada, no reaccionó como estaba previsto.

Dos sucesos, un mismo patrón

Lo que hace tan interesantes estas dos noticias en conjunto es que describen el mismo problema de fondo desde ángulos distintos. La alarma de los investigadores se refiere a lo abstracto: el riesgo de construir sistemas cuya lógica interna ya no podemos seguir ni corregir. El estudio sobre adolescentes lo hace concreto: aquí tenemos un sistema que ya fracasa en una tarea que afirma poder cumplir.

No es casualidad que ambas historias tengan como protagonista a OpenAI. Es la empresa de IA más expuesta del mundo, con los sistemas más utilizados y bajo el mayor escrutinio. Pero los problemas que ilustran afectan a todo el sector. La cuestión de cómo garantizar un uso seguro para los niños, cómo preservar la transparencia de modelos cada vez más complejos y cómo gestionar las críticas internas sin silenciar a quienes detectan los problemas son desafíos con los que lidia todo el sector.

También merece atención la dinámica en torno a los despidos. OpenAI sostiene que las salidas no tuvieron que ver con cuestiones de seguridad, sino con infracciones de las normas. Puede que sea cierto. Pero el mensaje que transmiten sigue siendo problemático: cuando las voces más críticas a favor de una mayor prudencia desaparecen de la organización, ¿quién asume entonces esa función?

La investigación en seguridad exige una cultura en la que los resultados incómodos se acojan, no se rechacen. Esto vale tanto si se trata del comportamiento de un modelo ante adolescentes vulnerables como si se plantean cuestiones más profundas sobre control e interpretabilidad. Ambas son síntomas del mismo desafío: construir sistemas potentes de forma responsable exige estar dispuesto a frenar, escuchar y, a veces, detenerse.