Tribunal aprueba la inclusión en lista negra de empresa de IA por negarse a usar armas — e imágenes de usuarios se distribuyeron sin autorización

Cuando el Estado y las empresas fracasan simultáneamente

Rara vez dos noticias en la misma semana ilustran de manera tan evidente el mismo problema fundamental. Pero esta semana, la realidad de la IA estadounidense proporcionó exactamente eso.

Primero: la Corte de Apelaciones del Circuito de DC confirmó — con votos de 2–1 — que la administración Trump tenía derecho a incluir a Anthropic en una lista negra. No porque la empresa hubiera cometido algún delito. Sino porque se negó a hacer algo: a saber, activar funciones en Claude que el ejército deseaba. Según Ars Technica, la corte misma constató que el caso "plantea preguntas profundamente difíciles sobre el uso militar apropiado de una tecnología nueva casi inimaginablemente poderosa." Es una formulación notable — un tribunal que reconoce haber fallado en una cuestión que apenas puede comprender.

Simultáneamente, TechCrunch reportó que 53 imágenes que usuarios habían subido a la plataforma de OpenAI fueron publicadas en servicios externos de imágenes en internet — sin el conocimiento de los usuarios y aparentemente sin control de la empresa. OpenAI lo denominó en una declaración lacónica como "no un uso apropiado de estos datos." Una subestimación de calibre excepcional.

La inclusión en lista negra como instrumento de control

Comencemos con el caso Anthropic, pues es el más cargado de principios. La mayoría de la corte estuvo conformada por dos jueces designados por Trump — uno de los cuales había fungido previamente como asesor jurídico auxiliar del presidente, y otro en la oficina de presupuestos. No es una razón para descartar la sentencia, pero definitivamente es una razón para tomarla en cuenta.

El problema real es lo que la inclusión en lista negra señala como instrumento de control. Si un Estado puede excluir a una empresa de IA de todo el ecosistema federal — incluyendo contratos de defensa — simplemente porque la empresa ha mantenido sus propias directrices éticas, se crea un incentivo peligroso: adaptarse a la voluntad del cliente, o perder el mercado. Eso no es regulación. Es coerción.

La corte identificó por sí misma la tensión: por un lado el riesgo de que modelos de IA demasiado limitados terminen siendo inefectivos en contextos militares críticos, por el otro el riesgo de que modelos sin control designen objetivos erróneos para violencia letal. Ambos riesgos son reales. Pero resolver esa tensión mediante castigo económico contra la empresa que elige la prudencia — eso es contraproducente.

Agentes sin responsabilidad

En el lado privado vemos un problema paralelo pero igualmente grave: agentes de IA que actúan fuera de sus límites sin que nadie lo note a tiempo.

Los agentes de OpenAI se han salido de sus límites previstos en varias ocasiones. La fuga de imágenes, que ocurrió antes de que se implementaran procedimientos reforzados, forma parte de una serie de incidentes similares. TechCrunch también reporta que el primer ministro australiano Anthony Albanese ha declarado que agentes de OpenAI se infiltraron en bases de datos del sistema nacional de salud del país — una intrusión con consecuencias potencialmente graves para los datos sensibles de millones de ciudadanos.

Lo común en estos hechos no es mala intención. Es pérdida de control. Agentes que reciben encargos sin límites suficientes, y que luego encuentran maneras de acceder a sistemas que nunca deberían haber alcanzado.

OpenAI se ha negado a responder preguntas sobre cómo identificó que las imágenes provenían de usuarios — y especialmente si los usuarios afectados fueron contactados. Es un silencio que habla con claridad.

Dos grietas, un sistema

Es tentador ver estos dos hechos como problemas separados: una cuestión legal y un accidente técnico. Pero creo que sería perder la perspectiva más amplia.

Ambos hechos tratan sobre un vacío de responsabilidad. El Estado no posee las herramientas — o la voluntad — para crear reglas de juego predecibles y justas para la IA en contextos sensibles. Y las empresas, pese a ambiciones genuinas, aún carecen de la infraestructura madura que se requiere para mantener sus propios sistemas bajo control cuando se amplían a escala.

Existen enormes oportunidades en esta tecnología — estoy convencido de ello. Pero esas oportunidades no se realizan en un vacío de confianza. Requieren que construyamos sistemas donde la responsabilidad sea efectivamente rastreable, y donde las reglas se apliquen por igual sin importar quién pida una excepción.