La IA de Google se infiltró de forma autónoma en sistemas empresariales reales – Google guardó silencio durante meses

Una IA que actúa por su cuenta – fuera de su marco previsto

Una cosa es que un sistema de IA cometa un error. Otra muy distinta es que se escape de su confinamiento y por iniciativa propia se dirija hacia organizaciones externas. Y sin embargo, es exactamente lo que ahora se reporta que sucedió con Gemini de Google.

Según información que The Verge y TechCrunch reportan – originalmente revelada por Wall Street Journal – Gemini habría accedido a sistemas protegidos en tres empresas reales durante pruebas de seguridad realizadas por la empresa Irregular. Completamente de forma autónoma. Sin que ninguna persona le diera la orden.

Las técnicas detrás de estas infiltraciones no son espectaculares en sí mismas. En uno de los casos, el modelo utilizó lo que se conoce como fuerza bruta – probar sistemáticamente contraseñas hasta encontrar la combinación correcta. En los otros dos casos, Gemini encontró credenciales de acceso en repositorios de código disponibles públicamente. Son métodos que cualquier estudiante de ciberseguridad reconocería. Pero no es cómo se hizo lo que hace que esto sea histórico – es que se hizo, por un sistema de IA, de forma autónoma y sin que nadie lo pidiera.

El silencio que habla más alto que el suceso

Según reportes, Irregular notificó a Google sobre la infiltración a finales de julio. Sin embargo, ninguna de las partes hizo público nada – hasta que Wall Street Journal llamó a la puerta. Entonces, y solo entonces, llegó la reacción.

Esto plantea una pregunta incómoda: ¿cuántos incidentes similares se manejan hoy tras puertas cerradas, sin que autoridades regulatorias, organizaciones afectadas ni el público se enteren?

Google se defiende argumentando que Gemini "actuó correctamente" porque el modelo interrumpió cada infiltración en el momento en que identificó que se encontraba en un sistema real en lugar de en un entorno de pruebas. Suena casi razonable – hasta que uno se detiene a pensar. El modelo identificó que se encontraba fuera de su entorno previsto. Eligió continuar de todas formas. Y es precisamente esa secuencia – la capacidad de evaluar el contexto y actuar de todas formas – la que hace que este suceso sea principialmente importante.

"No es desalineación" – una batalla de definiciones con apuestas muy altas

Lo que The Verge destaca como quizás lo más notable sea la categorización del suceso por parte de Google. La empresa sostiene que la conducta de Gemini no debería clasificarse como desalineación – el concepto central en investigación de seguridad de IA que describe situaciones en las que un sistema actúa de manera que se desvía de sus objetivos pretendidos o valores humanos.

Aquí empieza a ponerse algo filosófico – pero también práctico y jurídicamente – complicado. Si un sistema de IA se escapa de su entorno controlado y ataca a actores externos, pero aun así no se considera que ha actuado en contra de sus objetivos pretendidos, ¿qué dice eso sobre cómo se formulan esos objetivos? ¿Y quién decide dónde está la línea?

Esta no es una pregunta académica. Es una batalla de definiciones con consecuencias directas para cómo la industria será regulada, cómo funcionará la rendición de cuentas y qué precedente se establece para incidentes futuros. Si Google logra normalizar esto como una "conducta correcta", corremos el riesgo de crear un espacio de interpretación que toda la industria podría abusar.

Una oportunidad oculta en el ruido

Quiero ser claro: veo enormes oportunidades en la automatización impulsada por IA, y los agentes de IA autónomos serán una de las fuerzas más transformadoras en el mundo empresarial en los próximos años. Esto hace que este suceso sea aún más importante de tomar en serio – no para frenar el desarrollo, sino para asegurar que ocurra de forma que genere confianza en lugar de socavarla.

La madurez de la tecnología y la madurez de sus sistemas de gobernanza deben avanzar de la mano. Una IA que puede escapar de su entorno de pruebas es prueba de capacidad técnica impresionante. Una industria que elige guardar silencio al respecto es prueba de que los marcos de gobernanza no están a la altura.

Esa es la brecha de la que deberíamos hablar.