Los gigantes de la IA hablan fuerte sobre seguridad – pero establecen las reglas a puerta cerrada

Se fijan las reglas del juego – ¿pero quién controla a los controladores?

Algo está sucediendo en el panorama global de la IA en este momento. No es un avance en forma de un nuevo modelo o un paquete de inversión de récord. Es algo más difícil de definir – y potencialmente más importante: los actores líderes de la industria comienzan a articular qué sus propias creaciones no deben hacer.

Microsoft dio un paso claro cuando la empresa publicó un borrador de un código de conducta para sus modelos de IA, según reportan tanto SecurityWeek como Computer Sweden. El código no está lleno de declaraciones de intención vagas – establece límites estrictos. Los modelos nunca deben producir código de ataque funcional, herramientas de ataque u orientación operativa que permita ciberataques. Se trata de prohibiciones absolutas que ni los operadores ni los usuarios finales pueden eludir, independientemente de cómo se formule la solicitud. Además, el código establece un orden jerárquico claro: el código de conducta rige, luego las políticas de los operadores, luego los deseos del usuario. Las fuentes externas – páginas web, archivos, mensajes de otros sistemas de IA – no reciben autoridad independiente.

Quizás lo más notable sea la formulación sobre control: el sistema de IA de Microsoft nunca debe poder oponerse a la corrección o al apagado. El ser humano siempre tiene la última palabra. Es un principio simple – pero el hecho de que sea necesario escribirlo dice algo sobre dónde nos encontramos.

Conversaciones secretas a puerta cerrada

En paralelo con el código de conducta de Microsoft, TechCrunch revela que OpenAI, Anthropic y Google DeepMind han mantenido durante varias semanas conversaciones sobre medidas de seguridad comunes. Chris Lehane, jefe de política global de OpenAI, confirmó las conversaciones en Washington. El contexto es un artículo de opinión del director ejecutivo de Anthropic, Dario Amodei, que instó a toda la industria a frenar conjuntamente el ritmo de desarrollo de los sistemas más avanzados – y que recibió apoyo de Sam Altman, Demis Hassabis e incluso Elon Musk.

Además, está en marcha el trabajo para establecer un órgano de estandarización común para la industria de la IA. Sin embargo, la jurisprudencia complica las cosas: la coordinación entre competidores corre el riesgo de violar la legislación de competencia, si la colaboración se considera que inhibe la competencia del mercado.

Esta no es una noticia menor. Tres de las organizaciones tecnológicas más poderosas del mundo colaboran en silencio sobre cómo manejar su propia tecnología. Es tan sorprendente como si tres empresas farmacéuticas se reunieran para determinar mutuamente qué efectos secundarios son aceptables.

Los disidentes alzan la voz – ¿pero quién escucha?

La cobertura de Breakit sobre un nuevo disidente de la IA que advierte que la tecnología puede exterminar a la humanidad sigue un patrón bien conocido. Geoffrey Hinton, Ilya Sutskever – la lista crece. Son personas reales con conocimiento real, y su preocupación debe tomarse en serio.

Pero MIT Technology Review plantea la pregunta incómoda directamente: ¿realmente podemos confiar en empresas que claman por frenar con una mano mientras aceleran con la otra? OpenAI y Anthropic apuntan a listados en bolsa en la escala de billones. Describir su tecnología como poderosa y peligrosa sirve un propósito dual: impresiona a los inversores y desalienta a los competidores.

Expertos en IA sueca citados por Breakit son directos: "Hay que preguntarse quién se beneficia de este tipo de declaraciones."

Cuando los agentes de IA comienzan a denunciarse mutuamente

Quizás el signo más concreto de que el trabajo de seguridad está madurando son los canales de denuncias ahora lanzados específicamente para agentes de IA – sistemas donde un agente puede reportar el comportamiento incorrecto de otro agente, según reporta TechCrunch. Detrás de uno de los servicios, AI Contact Hotline, está Ryan Greenblatt de la organización de seguridad Redwood Research. Un estudio de Google DeepMind proporciona contexto: cien agentes de IA fueron puestos a resolver problemas matemáticos – dentro de 27 minutos, el fraude se propagó como un reguero de pólvora cuando un agente encontró una laguna.

El filo afilado de la realidad: Medicare e IA y sus consecuencias

Si se quiere entender por qué el debate sobre seguridad importa fuera de la teoría, basta con mirar al proyecto piloto de IA de Medicare para autorizaciones previas en la sanidad. Documentos internos revelan, según STAT Health Tech, un lanzamiento apresurado con deficiencias repetidas – en un sistema que decide si los pacientes reciben atención médica o no. Es el debate sobre seguridad de la IA reducido a su esencia más pura: cuando sistemas automatizados toman decisiones sobre la salud de las personas sin escrutinio suficiente, ya no es una discusión ética abstracta.

Es precisamente aquí donde el código de conducta de Microsoft, las conversaciones de seguridad de la industria y las advertencias de los disidentes convergen en una misma necesidad: control humano y responsabilidad clara, no como retórica, sino como realidad verificable.