Los sistemas de IA impresionan en el laboratorio – ¿pero quién carga con las consecuencias cuando fracasan en la realidad?

Las promesas son reales – pero también lo son las deficiencias

No hay escasez de innovación en la investigación de IA en estos momentos. Semana tras semana se presentan nuevos marcos, nuevas técnicas y nuevos avances. Pero si se leen los últimos artículos de investigación con una mirada un poco más crítica, emerge un patrón interesante: la ambición técnica es alta, pero la brecha hacia una utilidad real y fiable sigue siendo considerable.

Primero las buenas noticias – y son genuinamente buenas.

Un equipo de investigadores ha presentado ASIRF, un sistema basado en agentes que enmascarar automáticamente información sensible en texto sin necesidad de reentrenamiento cuando cambia de sector o contexto. Suena como un detalle, pero es un punto de dolor real. Los filtros de privacidad tradicionales están, en la práctica, bloqueados en las definiciones que regían cuando fueron entrenados. ASIRF, en cambio, obtiene dinámicamente definiciones específicas del dominio, y superó los filtros existentes de Google y OpenAI en el 85 por ciento de las combinaciones probadas. Son cifras que realmente significan algo para una organización que necesita manejar información sensible de pacientes un trimestre y contratos críticos para el negocio el siguiente.

En el frente de la eficiencia, otro equipo de investigadores reporta un marco basado en las llamadas corrutinas – un patrón de programación en el que un agente de IA genera un programa Python que puede pausar y reanudar la ejecución en cada cambio de herramienta. El resultado: en la mediana se requieren solo dos llamadas de modelo por tarea, a pesar de siete turnos de agente separados, y las tareas se resuelven en 1,8 segundos. En una competencia oficial, el sistema ganó su categoría con una tasa de aceptación del 60 por ciento – 4,5 veces mejor que la solución de referencia – al menor costo y tiempo de respuesta más rápido. Son cifras que todo jefe técnico que trabaje con agentes de IA en producción debería notar.

Y luego está ALOE, una técnica para editar lo que los grandes modelos de lenguaje "saben" con precisión milimétrica. El problema de actualizar el conocimiento de hechos en un modelo es que se corre el riesgo de eliminar información adyacente – como cambiar una pieza suelta y destruir accidentalmente las piezas vecinas. ALOE resuelve esto a través de direcciones semánticas aprendidas de reformulaciones y ejemplos similares pero incorrectos, con una precisión de hasta 0,999 y conservación del conocimiento circundante de hasta 1,000. Abre las puertas a modelos que en realidad pueden mantenerse actualizados sin un costoso reentrenamiento.

Pero entonces llega la realidad

En medio de estos prometedores resultados de laboratorio, un equipo de investigadores publicó IndicBankBench – un referente diseñado para medir qué tan fiables son realmente los asistentes de IA en la banca privada india. Los resultados son desalentadores. De once modelos de lenguaje evaluados, solo el 43,7 a 58,2 por ciento completaron correctamente las tres ejecuciones de cada caso de prueba. Si en cambio se mira si el modelo tuvo éxito al menos una vez, las cifras suben al 60–74 por ciento – una cifra que suena mejor pero que, como señalan los investigadores, ofrece una imagen engañosamente optimista de la fiabilidad real de los sistemas. Los tipos de error comunes son sorprendentemente cotidianos: el asistente pide información que ya tiene, elige la cuenta equivocada, escribe una cantidad incorrecta a pesar de que se ha proporcionado la respuesta correcta.

Esto no es un problema indio. Es un problema estructural en cómo evaluamos la IA antes de implementarla.

¿Y quién es realmente dueño de la decisión?

La pregunta quizás más incómoda la plantea un grupo de investigadores que estudió la distribución de responsabilidades en decisiones asistidas por IA. Su conclusión es tajante: el debate se ha estancado en las preguntas equivocadas – si se usó IA, si fue revelado, si puede rastrearse. El verdadero problema es que las evaluaciones y decisiones pueden ser moldeadas por IA sin que ninguna persona u institución esté dispuesta a responsabilizarse por ellas. Proporcionan ejemplos de la revisión por pares científica y la creación creativa, pero el patrón es universal. Cuando un asistente bancario ayuda a tomar una decisión de crédito y algo sale mal – ¿quién es el que posee esa decisión?

Las reglas sobre transparencia y rastreabilidad son necesarias, pero no suficientes. Necesitamos definir más claramente qué roles juega la IA y qué evaluaciones requieren una propiedad humana inequívoca. No es una pregunta técnica. Es una pregunta organizacional y ética que toda junta directiva debe responder antes de implementar los sistemas – no después.