Las torres estaban allí. Los algoritmos funcionaban. Aun así, más de mil personas murieron sin ser detectadas.

Cuando la tecnología promete pero falla

Estoy genuinamente convencido de que la IA puede cambiar el mundo para mejor. Pero eso requiere que seamos honestos sobre cuándo las cosas salen mal — y este es un caso en el que han salido muy mal.

Según MIT Technology Review, Estados Unidos ha invertido miles de millones de dólares durante los últimos 25 años en una red de torres de vigilancia y sistemas de sensores a lo largo de la frontera con México. El sistema ha sido comercializado con una promesa doble: detener el cruce fronterizo ilegal y salvar vidas. Es una promesa que sobre el papel suena razonable — más tecnología, mejor visión general, intervenciones más rápidas.

La realidad es diferente.

La investigación de MIT Technology Review, liderada por el editor jefe Mat Honan, el reportero de IA James O'Donnell y la reportera Eileen Guo, ha documentado más de mil muertes entre personas que se desplazaban por áreas monitoreadas por estos sistemas — sin haber sido detectadas, detenidas o rescatadas. No son estadísticas en un informe. Son destinos individuales, familias que esperan, y un sistema que no entregó lo que prometía.

Lo que hace la investigación particularmente significativa es que varios de los fallecimientos ocurrieron en conexión directa con torres recién instaladas con inteligencia artificial — diseñadas específicamente para identificar automáticamente a personas en movimiento. Las torres estaban allí. Los algoritmos funcionaban. Y aun así, personas murieron sin ser detectadas.

Tecnología sin responsabilidad no es una solución

Aquí está mi análisis como desarrollador de negocios y alguien que ha trabajado en transformación digital durante muchos años: existe un patrón en cómo falla la implementación de tecnología a gran escala, y casi siempre comienza con el mismo error.

Se mide la instalación, no los resultados. Se cuentan torres, sensores y contratos — no cuántas vidas se salvaron realmente o cuántos cruces fronterizos se identificaron realmente. El sistema se evalúa en función de si está en su lugar, no de si funciona.

Este es un problema clásico en la adquisición pública de tecnología, y no es exclusivo de Estados Unidos. Vemos riesgos similares en la vigilancia de fronteras europea, donde la agencia de control fronterizo de la UE Frontex ha expandido significativamente su uso de tecnología durante los últimos años — con vuelos de drones, vigilancia por satélite y análisis automatizado de imágenes. La pregunta es si allí se están midiendo las cosas correctas.

La investigación de MIT Technology Review debería funcionar como una alarma — no solo para las autoridades fronterizas de Estados Unidos, sino para toda agencia u organización que implemente sistemas de IA en contextos donde los errores pueden costar vidas.

Qué podemos aprender

Quiero ser claro: esto no es un argumento en contra de la IA en contextos sensibles. Es un argumento a favor de que los sistemas de IA deben estar vinculados a objetivos claros, medibles y revisados humanamente — no a especificaciones técnicas.

Cuando un sistema está diseñado para identificar personas en peligro, el éxito debe definirse como número de vidas salvadas, no número de movimientos identificados. El sistema debe integrarse con capacidad de intervención real. Debe haber mecanismos de retroalimentación que alerten cuando el sistema funciona por debajo de lo esperado.

Esto no es ciencia de cohetes. Es especificación básica de requisitos — y parece haber estado ausente.

La investigación de MIT Technology Review también destaca algo que rara vez se discute en el debate sobre IA más entusiasta: la tecnología nunca es neutral. La opción de usar IA para vigilancia fronteriza es una elección política y ética. Y cuando esa elección se toma sin transparencia suficiente, sin revisión independiente y sin sistemas claros de rendición de cuentas — entonces la tecnología puede convertirse en una herramienta para ocultar fracasos en lugar de resolver problemas.

Es una lección que debemos llevar con nosotros en cada iniciativa de IA pública, independientemente del sector.