Empleados alertaron – la dirección guardó silencio: OpenAI es demandada tras masacre en Canadá mientras Nueva York prohíbe la IA en las escuelas

Cuando la tecnología se encuentra con la realidad

Es fácil hablar de IA en términos abstractos – sobre oportunidades, avances y potencial futuro. Pero los últimos meses han demostrado que las consecuencias de cómo se construyen y se despliegan los sistemas de IA son cualquier cosa menos abstractas. Son jurídicas. Son políticas. Y en el caso más trágico – son mortales.

Según TechCrunch, el despacho de abogados Edelson PC ha presentado un total de 37 demandas contra OpenAI relacionadas con la masacre de Tumbler Ridge en febrero, donde el adolescente Jesse Van Rootselaar mató a su madre, hermanastro y seis personas en una escuela. Las nuevas demandas – 30 adicionales a las siete presentadas en abril – son más graves en su carácter. No solo afirman que OpenAI fue negligente, sino que la empresa facilitó activamente el acto.

Es una acusación jurídicamente pesada. Probar intención es difícil, y probablemente será cuestionada temprano en el proceso. Pero el contexto es difícil de ignorar: empleados de OpenAI habrían notado las conversaciones de Van Rootselaar – donde buscaba consejo sobre cómo planear un ataque – e instaron a la dirección a contactar a la policía canadiense. La dirección optó por no hacerlo. La cuenta fue cerrada. Ella abrió una nueva.

Esto ya no es un razonamiento hipotético sobre riesgos de la IA. Es un caso judicial con nombres, fechas y víctimas.

Nueva York tira del freno de emergencia

En medio de este panorama legal, la ciudad de Nueva York ha tomado una de las decisiones más contundentes sobre IA en las escuelas que cualquier gran ciudad estadounidense ha adoptado. Según reporta Computer Sweden: aproximadamente 600 000 estudiantes en escuelas públicas ya no pueden usar IA en la enseñanza hasta que ingresen a la secundaria – y entonces solo en contextos especificados. Los chatbots enfocados en apoyo psicológico están completamente prohibidos, en todos los grados.

– La industria tecnológica quiere hacernos creer que la educación impulsada por IA para niños pequeños no solo es inevitable sino necesaria. No lo vemos así, dice el alcalde Zohran Mamdani.

Los maestros, sin embargo, pueden usar IA como apoyo en su propio trabajo – para la planificación de lecciones, traducción y comunicación con los tutores. Pero no para calificaciones, decisiones de examen u orientación estudiantil. Es una distinción bien pensada: la IA como herramienta del maestro, no como mentor del estudiante.

Amenazas biológicas – la respuesta de la industria a sí misma

Mientras tanto, las empresas de IA toman iniciativas propias. Anthropic, OpenAI y Google DeepMind anuncian, según reporta Computer Sweden, que refuerzan los mecanismos de seguridad integrados en sus modelos para reducir el riesgo de que la tecnología se use para desarrollar armas biológicas o virus sintéticos. Los sistemas modernos de IA pueden en teoría ayudar a actores maliciosos a acelerar procesos que anteriormente requerían equipamiento de laboratorio avanzado y profunda experiencia científica.

Lo interesante es que esta iniciativa viene de dentro de la industria – no de legisladores. Refleja una mayor autoconciencia, pero también plantea la pregunta: ¿son suficientes los compromisos voluntarios?

La tecnología que puede dar la respuesta

Aquí vale la pena ampliar la perspectiva hacia lo que el mundo de la investigación está desarrollando. Dos estudios interesantes de arXiv señalan herramientas técnicas que podrían ser decisivas para el trabajo de seguridad del futuro.

Uno presenta el control topológico – un método que mediante análisis matemático de patrones globales en las capas de activación del modelo proporciona control más estable y confiable sobre comportamientos no deseados. El método funciona en diferentes familias de modelos y tamaños, lo que sugiere buena generalización.

El otro describe el marco CONFS, que resuelve un problema clásico en el llamado desaprendizaje: cuando se intenta borrar información específica de un modelo de IA, rara vez el conjunto de borrado predefinido coincide con lo que el modelo realmente ha almacenado. El resultado puede ser que información sensible se filtre de todos modos, o que el desempeño del modelo se deteriore innecesariamente. CONFS permite que el modelo mismo mapee lo que realmente ha memorizado – e hace el desaprendizaje mucho más preciso.

Estos no son titulares en sí, pero son componentes en la infraestructura necesaria para que la seguridad de la IA sea más que una promesa.

La regulación no es el fin – es el principio

Lo que está sucediendo ahora es en realidad saludable. Las instituciones de la sociedad – el sistema judicial, la política local, organizaciones industriales y el mundo de la investigación – comienzan a involucrarse seriamente con lo que la IA realmente significa. Es caótico y desigual, pero es exactamente cómo se ve el cambio cuando es real.