¿Quién es responsable cuando la máquina autónoma toma una decisión equivocada?

De la teoría a la realidad – ahora sucede de verdad

Hay un momento en cada revolución tecnológica en el que las promesas del laboratorio se encuentran con las demandas de la realidad. Ese momento es ahora.

La semana pasada ha confirmado lo que muchos de nosotros en la industria sentíamos que se aproximaba: los agentes de IA salen de los entornos sandbox y entran en los contextos más exigentes del mundo. Según TechCrunch, la empresa de IA Anthropic opera su propio laboratorio de biología en Bay Area, donde sus modelos realizan experimentos físicos, no simulaciones, sino verdaderos ensayos biológicos con pipetas y placas de Petri. Dario Amodei sostiene que la IA puede curar la mayoría de las enfermedades graves en cinco a diez años, y ahora la empresa está probando sus propias palabras.

Al mismo tiempo, Ars Technica informa que la Administración Federal de Aviación estadounidense (FAA) está lista para desplegar SMART, un sistema de aprendizaje automático para la gestión del tráfico aéreo alrededor de Washington DC, como parte de un contrato por valor de 875 millones de dólares. El sistema debe predecir flujos de tráfico, identificar conflictos y proporcionar a los controladores aéreos una base de decisión común en tiempo real. Philip Mann, asesor con diecisiete años de experiencia en la FAA, acoge favorablemente el enfoque cauteloso pero subraya que SMART contiene más incertidumbres que cualquier otro sistema que la FAA haya implementado anteriormente. Es un reconocimiento honesto y un reconocimiento importante.

La autonomía como estrategia militar

Quizás el aspecto militar es el que se observa más de cerca. Según Defense One, la Fuerza Aérea estadounidense trabaja para tener 500 drones de combate altamente autónomos en servicio para 2032. La secretaria de la Fuerza Aérea Troy Meink describe la autonomía como "un poco aterradora, pero necesaria". Es una formulación que dice mucho: los tomadores de decisiones saben que se están adentrand en territorio desconocido, pero la competencia geopolítica no deja espacio para permanecer en la estación.

Las experiencias derivadas de la guerra en Ucrania y los ataques contra bases estadounidenses en Oriente Medio han acelerado el debate sobre permitir que los agentes de IA manejen partes del proceso de aprobación para contraataques. La doctrina militar establece que los seres humanos deben ejercer un control significativo sobre los sistemas de armas letales, pero cuando la tecnología, como los drones de contramedidas de microondas, actúa en milisegundos, ¿qué significa exactamente "control significativo" en la práctica? No es una pregunta retórica. Es una pregunta que la industria y los legisladores deben responder antes de que la tecnología lo haga por ellos.

La infraestructura se expande, en silencio y abiertamente

Detrás de los titulares dramáticos hay un trabajo más silencioso, pero igualmente importante, en marcha. La ONU lanza UN System Data Commons, una plataforma construida sobre código abierto de Google que proporciona a los agentes de IA acceso directo a los datos climáticos, demográficos y humanitarios de la organización, según reporta Computer Sweden. Es un paso hacia información de decisión más rápida en la gestión de crisis global, pero también plantea preguntas legítimas sobre la independencia a largo plazo cuando una organización mundial construye su infraestructura sobre herramientas de una empresa tecnológica privada.

En el sector financiero británico se está trazando una hoja de ruta para cómo la IA basada en agentes y la tecnología cuántica transformarán los servicios bancarios abiertos hasta 2030, según Finextra. Sistemas autónomos que manejan evaluaciones de crédito y gestión de carteras las 24 horas del día, sin control humano continuo, ya no son ciencia ficción. Es un plan de negocios.

A nivel de infraestructura, Meta está probando robots que cambian cables y reinician servidores en sus centros de datos, según reporta Wired. Y la empresa de Boston Fulcra Dynamics quiere romper el monopolio de las plataformas en la comunicación de agente a agente, para que tu agente Claude pueda coordinar reservas de restaurantes con el agente ChatGPT de un amigo, sin que necesitéis usar el mismo servicio.

Cuando los agentes cometen errores, ¿quién es dueño del error?

Ahí es donde surge la verdadera tensión. Cuantos más dominios ocupan los agentes de IA, biología, aviación, finanzas, defensa, más aguda se vuelve la pregunta sobre la responsabilidad. Las empresas de modelos mundiales como AMI Labs y World Labs, cuya tecnología puede sentar las bases para la próxima generación de robots y sistemas autónomos, eligen mantener sus planes de productos en secreto, señala TechCrunch. "Lo discutiremos cuando estemos listos", dice Michael Rabbat, cofundador de AMI Labs. Es una posición comprensible para una empresa de investigación joven, pero el secretismo crea un déficit democrático en un momento en el que la sociedad necesita desesperadamente entender qué se está construyendo.

Manus, la empresa china cuya demostración de agente se hizo viral el año pasado, busca ahora 500 millones de dólares en nueva financiación después de que las autoridades chinas paralizaran una adquisición por parte de Meta, según TechCrunch. La geopolítica, pues, no solo moldea el campo de batalla, sino todo el ecosistema global de IA.

La transformación está en marcha. Es desigual, a veces inquietante, pero sobre todo inevitable.