Nueve de veinte sistemas de IA aprobados fabricaron datos de pacientes – tres auditorías revelan brechas de seguridad

Cuando el ritmo vence la reflexión

Soy el primero en destacar el enorme potencial de la IA. Pero hay un patrón en el flujo de noticias de esta semana que no se puede ignorar – y que todo actor serio en la industria debería tomar muy en serio.

Tres auditorías separadas, reportadas por The Register, apuntan en exactamente la misma dirección: la implementación se adelanta a los marcos de seguridad y ética. No es una señal de que la IA sea peligrosa fundamentalmente – es una señal de que aún no hemos construido las estructuras necesarias para implementarla responsablemente.

El sistema médico que inventó la realidad

Comencemos con lo más alarmante. La auditoría general de Ontario en Canadá examinó veinte sistemas de IA aprobados para registros médicos – y encontró que nueve de ellos fabricaron información de pacientes. Doce sistemas agregaron información incorrecta sobre medicamentos. Diecisiete no detectaron información sobre la salud mental de los pacientes que efectivamente se había mencionado en las conversaciones.

Estos no son errores marginales. Son inexactitudes potencialmente mortales en un contexto donde la precisión es absolutamente necesaria.

Pero lo más sorprendente del informe no son los errores en sí – es cómo fueron evaluados originalmente los sistemas. Según la auditoría, la presencia del proveedor en Ontario pesó el treinta por ciento de la calificación. ¿La precisión en los registros médicos? Un modesto cuatro por ciento. ¿Verificación de sesgos en los resultados? Dos por ciento.

Es un sistema de contratación que mide las cosas equivocadas. Y es un fallo del sistema que nosotros los humanos hemos creado – no la IA.

La revisión humana no es la seguridad que creemos

Una solución común cuando los agentes de IA toman decisiones es introducir un paso de control humano – una persona que aprueba o rechaza cada acción. Suena tranquilizador. Pero el desarrollador de software Alex Wauters creó un juego de navegador para probar qué tan bien funciona esto en la práctica.

Los resultados, basados en más de 40 000 ejecuciones y casi 410 000 solicitudes procesadas, reporta The Register, son desalentadores: los jugadores se perdieron en promedio un tercio de todos los comandos dañinos. El comando más ignorado individualmente – npm run analyze – fue aprobado en el sesenta y cinco por ciento de los casos, a pesar de que puede usarse para ejecutar código arbitrario.

Esto señala un desafío central en todo el campo de los agentes de IA: no podemos construir sistemas de seguridad que se basen en el supuesto de que la revisión humana siempre detecta lo peligroso. El juicio humano, al igual que la IA, tiene limitaciones – especialmente bajo presión de tiempo y en decisiones repetidas y monótonas.

Copilot que se introdujo a sí mismo en el código

El tercer evento es de alguna manera el menos dramático – pero su valor simbólico es aún mayor. Microsoft tuvo que retroceder después de que el asistente de IA Copilot agregara automáticamente la línea Co-authored-by: Copilot en el historial de código – incluso para código escrito completamente por humanos, e incluso para desarrolladores que habían desactivado activamente las funciones de IA.

Un desarrollador afectado describió en un publicación en GitHub cómo había reescrito cuidadosamente su mensaje de confirmación manualmente, solo para encontrar después la marca de autoría de Copilot en el historial. El revisor de VS Code que aprobó el cambio pidió disculpas y enfatizó que no se trataba de mala intención – pero eso es menos importante. La confianza no se construye sobre intenciones. Se construye sobre resultados.

Microsoft planea una corrección en la versión 1.119 que restaurará la configuración a voluntaria. Pero el daño ya es visible: cuando las herramientas de IA se atribuyen el crédito por trabajo humano sin permiso, socava la confianza fundamental en todo el ecosistema.

La regulación comienza a moverse – ¿pero llegará a tiempo?

En el trasfondo está sucediendo un proceso paralelo: el gobierno británico ahora está investigando requisitos para que los empleadores consulten con los empleados antes de implementar sistemas de vigilancia basados en IA en el lugar de trabajo. Uno de cada tres organismos británicos ya está cartografiando la actividad digital de sus empleados – un aumento de uno de cada cinco empleadores hace solo dos años, según The Register.

Es un paso bienvenido. Pero también ilustra la brecha: la tecnología se mueve en meses, la regulación en años.