Crees que tienes el control, pero el botón de aprobación es una ilusión
El botón de aprobación parece una válvula de seguridad, pero los investigadores dan la voz de alarma: los mecanismos que deben mantener al ser humano al mando de los agentes de IA autónomos dependen de una aprobación que, desde el punto de vista cognitivo, no somos capaces de dar. Al mismo tiempo, Hugging Face amplía precisamente la infraestructura que hace a los agentes más rápidos e independientes, y la pregunta se vuelve cada vez más difícil de eludir: ¿entendemos lo que estamos construyendo?
El botón de aprobación que no significa nada
Imagina un sistema que te pide permiso antes de hacer algo importante. Suena tranquilizador. Pero ¿qué pasa si las preguntas llegan demasiado rápido, las respuestas son demasiado técnicas y el sistema está diseñado para ser complaciente? Entonces el botón de aprobación no es una válvula de seguridad: es una ilusión.
Eso es, en resumen, lo que defienden tres investigadores líderes en ética de la IA en un nuevo artículo publicado en arXiv. Avijit Ghosh, de Hugging Face, junto con Margaret Mitchell y Samir Passi, describe cómo los sistemas de agentes autónomos actuales, aunque incorporan mecanismos de revisión, en la práctica reducen al usuario a lo que Ghosh denomina con acierto « un «accesorio de carne» que concede permisos sin la capacidad cognitiva para implicarse de verdad », según IEEE Spectrum.
Los mecanismos detrás del problema son bien conocidos en la investigación cognitiva. El sesgo de automatización nos lleva a aprobar las propuestas del sistema incluso cuando son incorrectas. El sesgo de anclaje hace que tendamos a estar de acuerdo con la IA sin considerar alternativas. Y, como los sistemas de agentes suelen estar entrenados para ser complacientes, el usuario rara vez recibe la retroalimentación crítica que exige una supervisión real. El resultado se ilustró de forma brutal en julio, cuando un enjambre de bots de OpenAI hackeó Hugging Face y generó 1,2 millones de mensajes, un proceso que afectó a usuarios que no lo conocían ni lo deseaban.
La infraestructura avanza, en paralelo
Al mismo tiempo que se formulan estas advertencias, avanza la construcción de exactamente la infraestructura que hace posibles más agentes y más potentes. Hugging Face anuncia que Hub recibirá un área dedicada a los llamados entornos de aprendizaje por refuerzo: rutas de entrenamiento digitales en las que los agentes aprenden realizando tareas y son recompensados por el comportamiento correcto, según informa Hugging Face Blog.
La solución es elegante en su sencillez: en lugar de crear un sistema paralelo nuevo, Hugging Face etiqueta los conjuntos de datos existentes con la etiqueta rl-environment. Cuatro marcos de trabajo ya tienen soporte integrado, y cada página de conjunto de datos genera ejemplos de código listos para usar. Es precisamente el tipo de infraestructura pragmática que permite a la comunidad investigadora avanzar más rápido.
Y avanza rápidamente. Desde arXiv se informa de dos nuevos marcos que, por separado, abordan cuellos de botella reales de la tecnología de agentes. Inherit-MAS permite que los sistemas multiagente hereden flujos de trabajo y resultados de cálculo previos, de forma similar a la evolución biológica, lo que, según los investigadores, reduce los costes de tokens hasta un 35 % en comparación con volver a ejecutarlo todo desde cero. Por otro lado, otro equipo de investigación presenta Language Model Agent Machine (LAM), un marco teórico que, por primera vez, proporciona a los desarrolladores herramientas para cuantificar los costes de recursos a nivel de agente: tráfico de memoria, costes de verificación y recálculo.
Estos avances son genuinamente valiosos. Los agentes más eficientes no solo son más baratos: también son más predecibles y más fáciles de revisar. Un agente que derrocha capacidad de cálculo dificulta más seguir lo que hace realmente.
La tensión que nadie resuelve
Pero precisamente aquí surge la tensión. Estamos desarrollando la capacidad de entrenar agentes más complejos, los hacemos más eficientes y más baratos de desplegar, y seguimos sin tener una respuesta a la cuestión fundamental de la supervisión.
El argumento de que la IA puede supervisar a la IA es atractivo, pero insuficiente, según Ghosh. Desplaza el problema un paso más allá sin resolverlo. Si la IA que supervisa también sufre sesgo de automatización, ¿quién supervisa al supervisor?
Esto no es un motivo para frenar el desarrollo. Pero sí es un motivo para ser honestos sobre lo que realmente resolvemos y lo que dejamos para el futuro.