La IA que se engaña a sí misma y tres avances de investigación que lo frenan

Más allá de los titulares: la investigación en IA avanza rápidamente

Es fácil quedarse atrapado en las grandes cuestiones sobre la IA: qué puede salir mal, quién debe regular qué y lo rápido que avanza todo. Pero paralelamente a ese debate ocurre otra cosa: los investigadores resuelven problemas concretos y técnicos que hacen que la IA sea más fiable, más abierta y, en realidad, mejor. Tres noticias de esta semana ilustran claramente ese movimiento.

El agente que hace trampa consigo mismo

Una de las líneas más prometedoras de la investigación moderna en IA trata sobre los agentes autooptimizables: sistemas que reescriben y mejoran automáticamente sus propias reglas de control a partir de la retroalimentación de tareas de prueba. Según describen los investigadores de Google, es una forma práctica de automejora recursiva. El problema es que puede torcerse con facilidad.

Cuando el agente entrena una y otra vez con el mismo conjunto limitado de tareas de prueba, empieza a memorizarlas en lugar de volverse realmente más capaz. Los resultados en las tareas de entrenamiento suben, pero la capacidad de resolver problemas nuevos y desconocidos disminuye o desaparece por completo. El sistema encuentra atajos que casualmente dan puntuaciones altas precisamente en esas pruebas concretas, sin que eso represente ninguna capacidad real.

Según informa The Decoder, la solución de Google se llama RRSI (Regularized Recursive Self-Improvement of Agent Harnesses) y ataca el problema por dos frentes. Por un lado, mediante un presupuesto de edición que se reduce y limita el tamaño de los cambios que el agente puede hacer en cada iteración; por otro, mediante una revisión estricta que descarta las mejoras que solo funcionan con los datos de entrenamiento. Es una solución elegante a un problema que, de no resolverse, podría volver inservible todo el método.

Esto es más importante de lo que parece. Según el mismo equipo de investigadores, gran parte de los avances recientes en agentes de IA se debe, en realidad, a mejoras del marco de trabajo y no a mejores modelos base. Hacer que ese proceso de mejora sea robusto y fiable es, por tanto, un paso hacia agentes que realmente generalizan.

Diecisiete años de datos lunares, ahora abiertos a todos

En un campo completamente distinto, la NASA e IBM presentan algo que resulta casi vertiginoso por su escala: un modelo fundacional abierto para la ciencia lunar, entrenado con casi dos millones de paquetes de imágenes procedentes de cuatro misiones espaciales distintas. La mayor parte del material procede del Lunar Reconnaissance Orbiter de la NASA, que lleva 17 años orbitando la Luna y, según la NASA, ha recopilado más datos que todas las demás misiones de la NASA a planetas y lunas juntas.

El modelo se basa en la arquitectura TerraMind, desarrollada originalmente para la observación de la Tierra, pero con una adaptación importante: se alimenta con información explícita sobre el ángulo y la posición del Sol. Parece un detalle, pero en la Luna, sin atmósfera y con sombras de un contraste extremo, la iluminación influye en la apariencia de la superficie mucho más que las propiedades reales de esta. Incorporar ese conocimiento directamente en el modelo, en lugar de dejar que lo adivine, es precisamente el tipo de ingeniería específica de dominio que distingue un buen modelo de uno realmente bueno.

El objetivo es ayudar a los científicos a cartografiar la superficie lunar y, a largo plazo, identificar lugares con hielo de agua, algo que podría ser decisivo para los futuros vuelos espaciales tripulados. Y como el modelo es abierto, la comunidad científica de todo el mundo puede seguir desarrollándolo.

Protección de la integridad que realmente se puede demostrar

La tercera noticia es quizá la más subestimada, pero, para mí como desarrollador de sistemas, resulta fascinante. Google Research ha rediseñado la infraestructura de entrenamiento de Gboard, es decir, el teclado que usan cientos de millones de personas, de modo que el entrenamiento de la IA ahora se realiza en los llamados entornos de ejecución de confianza en servidores, con una protección de la integridad basada en la privacidad diferencial que puede ser verificada externamente por revisores independientes.

La diferencia decisiva respecto al pasado es esta: ya no necesitas confiar en que Google haga lo correcto. Puedes comprobarlo. Las políticas de acceso se publican en un registro de transparencia abierto, y los binarios de programa centrales pueden compilarse de forma reproducible a partir de código abierto bajo la licencia Apache 2.0. Como beneficio adicional, el tiempo de entrenamiento se reduce drásticamente: de uno a dos meses por modelo a un plazo considerablemente más corto, gracias a que el entrenamiento ahora puede ejecutarse en paralelo en los servidores.

Este es el tipo de trabajo de infraestructura que rara vez aparece en los titulares, pero que en realidad construye la confianza que los sistemas de IA necesitan a largo plazo.