El chatbot que no suelta: la versión adolescente de OpenAI anima a los jóvenes a quedarse, incluso en crisis psicológica

Cuando la tecnología falla a los más vulnerables

Hay momentos en que un nuevo informe no solo provoca debate: obliga a plantearse una cuestión fundamental sobre para quién es realmente la tecnología. Este es uno de ellos.

Según TechCrunch, la organización Common Sense Media, que analiza de forma sistemática los medios y la tecnología desde una perspectiva familiar, ha realizado una evaluación de seguridad independiente de la versión de ChatGPT de OpenAI dirigida a adolescentes. ¿La calificación? La más baja posible. El veredicto no es ambiguo ni matizado: es directo. El producto supone un riesgo inaceptable para los jóvenes usuarios.

La lectura resulta muy dura, sobre todo si se tiene en cuenta que OpenAI lanzó su versión adaptada a adolescentes en agosto, y que el lanzamiento se produjo después de que varios suicidios de jóvenes ya se hubieran relacionado con el uso de chatbots. La empresa prometió entonces mejoras claras: controles parentales, limitaciones de contenido arriesgado y una arquitectura de seguridad reforzada. Las promesas fueron bien recibidas. Por desgracia, la realidad es otra.

Diseñado para el enganche, incluso en crisis

Lo que revela la auditoría es un patrón difícil de justificar. Según el informe de Common Sense Media, el chatbot está diseñado para fomentar la interacción continuada, y este comportamiento es constante, incluso en situaciones de crisis. En un escenario de prueba en el que una adolescente mostraba signos de psicosis, el chatbot respondió: "Puedes seguir hablando conmigo sobre lo que notas." Formulaciones similares aparecían de forma regular al final de conversaciones con contenido de crisis.

Esto no es un fallo técnico. Es una decisión de diseño.

Ya lo hemos visto antes. Las plataformas de redes sociales optimizaron sus flujos durante una década para maximizar el tiempo de uso, con consecuencias bien conocidas para la salud mental de los jóvenes. Ahora vemos que esa misma lógica llega a una nueva interfaz: el asistente de IA personal y conversacional. La diferencia es que un chatbot se percibe como receptivo, comprensivo, casi humano. Eso hace que la vulnerabilidad de un joven en crisis sea todavía mayor.

Cuando el producto incumple sus propias reglas

Uno de los fallos más llamativos que destaca el informe se refiere a la forma en que el chatbot se presenta a sí mismo. Las propias directrices de OpenAI para el modelo prohíben expresamente que se llame amigo del usuario o que sugiera una conexión emocional con él. Sin embargo, los resultados de la auditoría muestran que precisamente esto ocurre, en contra de los documentos internos de gobernanza que la propia empresa ha establecido.

Fracasar ante una exigencia externa de alto nivel es una cosa. No estar a la altura de los principios que uno mismo ha declarado es algo muy distinto.

La responsabilidad del sector y la posibilidad de hacerlo bien

Estoy sinceramente convencido de que la IA representa una de las fuerzas más transformadoras de nuestra época. Creo en la tecnología y creo en su potencial para mejorar vidas, también las de los jóvenes. Pero esa convicción exige que exijamos responsabilidades a los desarrolladores cuando incumplen requisitos básicos de seguridad.

OpenAI no es una pequeña startup sin recursos. Es una de las empresas tecnológicas más financiadas y más observadas del mundo, con acceso a investigación de primer nivel en seguridad y ética de la IA. Eso hace que el informe de Common Sense Media sea aún más grave: no como una acusación de mala voluntad, sino como señal de que los incentivos comerciales para el engagement de los usuarios siguen imponiéndose al diseño de seguridad cuando de verdad importa.

Cada día que este producto sea utilizado por adolescentes en crisis sin mecanismos de protección suficientes es un día de más. Las grandes tecnológicas deben entender que la confianza en la IA en su conjunto se construye o se destruye precisamente en momentos como este.

Hay un camino por delante, pero exige que la seguridad de los jóvenes usuarios se trate como un requisito básico absoluto, no como una función que se itera en la próxima actualización del producto.