Drones letales, testigos falsos y fraudes controlados por máquinas: la IA se usa ahora como arma contra nosotros

Cuando las herramientas son neutrales pero los usuarios no lo son

Soy genuinamente entusiasta con lo que la IA hace por las posibilidades de la humanidad. Pero ese entusiasmo también me obliga a ser honesto: el mismo poder que transforma industrias y libera el potencial humano puede —cuando cae en las manos equivocadas— causar daño en una escala que nunca antes habíamos visto. Esta semana recibimos tres recordatorios impactantes de ello.

Drones asesinos construidos con Claude

Anthropic, la empresa detrás del asistente de IA Claude, publicó recientemente un informe que revela cómo un grupo vinculado a Rusia —identificado como GTG-27005— utilizó su sistema para desarrollar un modelo de IA lo suficientemente pequeño como para ejecutarse en computadoras de placa única, pero lo suficientemente potente como para permitir que un dron eligiera objetivos de forma independiente, incluida una clase de objetivo etiquetada como "persona", e emitiese órdenes de detonación completamente sin intervención humana. Según Defense One, el grupo realizó pruebas reales con hardware físico y también trabajaba en permitir que los drones se comunicaran entre sí para mayor precisión.

En paralelo, actores vinculados a Rusia utilizaron las mismas herramientas de IA para cartografiar objetivos, encontrar vulnerabilidades en cuentas digitales, crear código malicioso y construir redes completas de sitios de noticias falsas con perfiles de periodistas fabricados, diseñados para parecer medios locales creíbles. Anthropic desactivó al grupo y reforzó sus medidas de seguridad, pero la pregunta permanece en el aire: ¿cuántos grupos similares operan bajo el radar en otros proveedores de IA?

Testigos fabricados en un caso de asesinato real

Del campo de batalla a la sala de audiencias. The Verge informa que la corte suprema de Nuevo México condenó al abogado Stephen Aarons a multa y lo declaró en desacato a la corte después de que presentara una apelación en un caso de asesinato repleto de testimonios de personas completamente inventadas. Aarons reconoció que usó ChatGPT y creyó que la herramienta entregaría un resumen "hermético" del juicio.

La jueza C. Shannon Bacon fue demoledora en su crítica y cuestionó si el abogado había seguido siquiera la cobertura de noticias sobre las deficiencias conocidas de la IA. El caso, desafortunadamente, no es único: una serie de despachos de abogados han recibido críticas severas en años recientes por escritos llenos de fuentes jurídicas fabricadas y precedentes inventados. No se trata en todos los casos de mala intención, sino de una combinación peligrosa de confianza excesiva en la tecnología y falta de verificación.

Fraude sin defraudador

El sector financiero lidia con una tercera dimensión del mismo problema. Finextra describe cómo los sistemas automatizados ahora pueden identificar vulnerabilidades de forma independiente, iniciar ataques y llevar a cabo crímenes económicos a una velocidad y escala que ningún defraudador humano puede igualar. Lo que anteriormente requería redes criminales organizadas ahora puede ejecutarse mediante algoritmos en tiempo real.

Esto no es solo un problema técnico: es un dilema legal y filosófico. ¿Cómo se exige responsabilidad cuando no hay una persona detrás del crimen? Los métodos tradicionales de lucha contra el fraude, que se basan en identificar a una persona responsable, corren el riesgo de quedar completamente obsoletos.

Una investigación reciente de la empresa de seguridad Pistachio, que durante un año envió 2,47 millones de intentos de phishing simulados a más de 123 000 empleados, agrega otra capa. El estudio muestra que el 30 por ciento de los empleados en desarrollo de tecnología hicieron clic en al menos un mensaje de phishing simulado, y que casi el 20 por ciento en el sector de la construcción realmente proporcionaron sus credenciales de inicio de sesión. En una empresa de 500 empleados, esto significa que aproximadamente ocho personas ceden sus datos ya en la primera prueba. Cuando la IA además hace que estos ataques sean más difíciles de distinguir de transacciones legítimas, todo el panorama de amenazas cambia.

La misma tecnología, propósitos muy diferentes

El tema común en todos estos casos no es que la IA sea peligrosa en sí misma, sino que la ausencia de responsabilidad, verificación y regulación crea vacíos que se explotan. Anthropic actuó cuando descubrió el abuso. Pero requiere que realmente lo encuentres. El abogado Aarons utilizó una herramienta poderosa sin entender sus limitaciones. Los bancos luchan contra adversarios que se mueven más rápido que los marcos regulatorios.

Lo positivo —y sí, siempre encuentro lo positivo— es que estas revelaciones realmente muestran que los sistemas funcionan. Anthropic examina su base de usuarios. Los tribunales detectan material fabricado. Los bancos comienzan a enfrentar la IA con IA. Pero el ritmo de adaptación debe aumentar.