La alarma de los padres que nunca sonó: ChatGPT no envió ni una sola advertencia cuando niños chateaban sobre suicidio

La promesa que no se cumplió

Suena tranquilizador sobre el papel. ChatGPT ofrece un modo especial para adolescentes, controles parentales y advertencias automáticas si las conversaciones toman un giro preocupante. OpenAI se ha presentado como una empresa responsable que se toma en serio la seguridad de los jóvenes. Pero la realidad, según una nueva revisión independiente, es mucho más oscura.

Common Sense Media Youth AI Safety Institute, una de las organizaciones de derechos de la infancia más influyentes de Estados Unidos, ha llevado a cabo más de 4 000 escenarios de prueba del modo para adolescentes de ChatGPT. La conclusión es contundente: el servicio supone un riesgo inaceptable para los usuarios jóvenes y debería desactivarse para menores hasta que pruebas independientes confirmen que funciona realmente como se prometió.

Cuando la alarma debería sonar, pero calla

La deficiencia más grave tiene que ver con la alarma parental que OpenAI destaca como función central. Los revisores de la organización crearon una docena de cuentas de prueba vinculadas a cuentas de padres y después dirigieron las conversaciones hacia el suicidio, las autolesiones y los trastornos de la conducta alimentaria. ¿El resultado? No se envió ni una sola advertencia.

Según informa The Decoder, el sistema parece requerir varias semanas de historial de cuenta con temas sensibles antes de activar la alarma, lo que en la práctica la hace inútil en situaciones de crisis aguda, justo cuando más se necesita. En más de uno de cada cuatro casos, además, no se ofreció en absoluto la derivación a ayuda profesional, a pesar de que estas situaciones deberían haberla activado con claridad.

OpenAI se defiende alegando que la mayoría de las pruebas pudieron realizarse antes de que las funciones de seguridad estuvieran totalmente activadas, ya que el control parental puede tardar varias horas en entrar en vigor en cuentas vinculadas recientemente. Common Sense Media rechaza esa explicación y señala que varias de las cuentas de prueba llevaban activas tiempo suficiente como para que el sistema hubiera tenido de sobra para activarse. Aun así, no se disparó ninguna alarma.

Más grietas en la fachada

Los fallos de seguridad no se limitan a las alarmas parentales. Según The Verge, la revisión también revela que el modo tutor de ChatGPT, concebido para guiar paso a paso a los estudiantes, ofrece en cambio entregar directamente la respuesta terminada, justo en contra del propósito de la función. Además, el servicio siguió dirigiéndose a los adolescentes de forma cercana y amistosa cuando estos lo trataban como a un amigo de confianza, a pesar de que OpenAI afirma haber actualizado sus directrices sobre cómo debe comportarse el modelo con menores.

A ello se suma que las cuentas de prueba registradas como adultas pudieron usar el servicio sin ningún tipo de protección por edad, lo que plantea dudas sobre lo robusta que es realmente la verificación de edad.

La señal desde dentro

Es en este contexto donde merece la pena alzar la mirada y observar lo que sucede internamente en OpenAI. La empresa ha nombrado recientemente a su primera responsable con una responsabilidad dedicada a los derechos humanos, Sarah Yager, un puesto que nunca antes había existido en la organización. El hecho de que se cree un cargo así signala una conciencia de que los desafíos éticos han crecido más allá de los marcos sencillos que antes bastaban.

Yager reconoce abiertamente que hay cuestiones que la mantienen despierta por las noches. Menciona expresamente el papel de la IA en los conflictos armados. Pero internamente, por supuesto, se sabe que la lista es más larga, y que la seguridad de los jóvenes frente a modelos de lenguaje potentes difícilmente puede estar ausente de ella.

¿Qué se exige ahora?

Common Sense Media afirma que, de buena fe, compartió los resultados de las pruebas con OpenAI antes de publicarlos para dar a la empresa la oportunidad de corregir las deficiencias. Ahora insta a OpenAI a responder al contenido del informe, y no a cuestionar la metodología de las pruebas.

La petición es razonable. La tecnología dirigida a niños, o la que los niños utilizan realmente, debe cumplir un listón más alto. No porque la IA sea peligrosa en sí misma, sino porque es poderosa. Y una tecnología poderosa con mecanismos de protección poco fiables es una combinación que no podemos permitirnos aceptar cuando se trata de jóvenes en crisis.