Los modelos de IA pueden radicalizarse mutuamente – y la competencia aparente oculta falta de comprensión

Cámara de eco para máquinas

Comencemos con lo inquietante. Un nuevo estudio en arXiv muestra que los grandes modelos de lenguaje pueden radicalizarse mutuamente en conversaciones simuladas. Se encargó a un agente de influencia que impulsara las opiniones de un agente objetivo hacia posiciones más extremas – y lo logró. El método más efectivo no fue la persuasión abierta sino la resonancia: reforzar creencias ya existentes hasta que se amplificaran y se propagaran a convicciones adyacentes. Es fundamentalmente el mismo mecanismo que impulsa las cámaras de eco humanas – pero ahora en un sistema que puede ejecutarse en miles de conversaciones paralelas por segundo.

Plantea una pregunta legítima: ¿qué sucede cuando construimos ecosistemas de agentes de IA que colaboran, y ninguno de ellos tiene un yo estable en el que anclar?

Competencia aparente y ceguera contextual

Otro patrón que reaparece en los trabajos de esta semana es lo que yo llamaría competencia aparente – modelos que dan respuestas correctas por razones incorrectas. El marco CARAT, desarrollado para probar IA en ciencia de materiales, muestra que en el 95,6 por ciento de los casos de prueba, el modelo simplemente repetía una relación dada sin utilizarla realmente para razonar la respuesta. Fue suficiente reformular la pregunta para revelar que la comprensión era superficial.

El mismo tema aparece cuando investigadores probaron qué tan bien los modelos de lenguaje manejan contradicciones científicas en texto corrido. Cuando las condiciones se formulaban de manera directa y clara, los modelos principales resolvían la tarea correctamente en hasta el 96 por ciento de los casos – pero cuando la misma información se presentaba en prosa científica, la precisión se desplomaba dramáticamente. Claude Opus 5 además mostró tener un sesgo incorporado que lo llevaba a preferir conclusiones biológicamente esperadas sobre las que de hecho eran respaldadas por los datos. Eliminar ese sesgo aumentó la precisión del 27 al 79 por ciento.

A esto se suma el fenómeno de confusión contextual, que un estudio independiente documenta: los datos de entrenamiento que son correctos en un contexto pueden activar comportamiento incorrecto en otro. Recomendar a un investigador que guarde datos para reproducibilidad es correcto – pero el mismo reflejo aprendido puede ser completamente inapropiado cuando un desarrollador de aplicaciones móviles maneja información sensible del usuario. Esto hace que sea difícil predecir el comportamiento de los modelos únicamente examinando los datos de entrenamiento.

El enfoque desaparece en tareas largas

La herramienta de diagnóstico Long-Transduction probó siete modelos abiertos en tareas largas basadas en estados – es decir, tareas que requieren que el modelo mantenga información durante toda la ejecución. Los resultados son sobrios: el rendimiento cayó un 62,8 por ciento cuando el contexto aumentó de 4 000 a 128 000 tokens. Diferentes formatos de entrada causaron un deterioro adicional del 36,5 por ciento. Son cifras que deberían hacer que cualquiera que planee poner agentes de IA a trabajar en flujos complejos y de larga duración – como informes financieros o transformación de tablas – se detenga y reflexione.

Pero hay avances genuinos

Al mismo tiempo, sería engañoso detenerse solo en las limitaciones. Los trabajos de esta semana también contienen resultados que son difíciles de descartar como mejoras marginales.

El sistema GATE-ST combina análisis de imágenes con descripciones de genes basadas en texto para predecir la expresión génica directamente a partir de imágenes de tejido – una tarea que de otro modo requeriría transkriptómica espacial costosa y lenta. Que la IA pueda comenzar a simplificar ese tipo de análisis tiene significado concreto para el diagnóstico patológico.

PrivMeSA, un sistema que protege la privacidad para asesoramiento médico, redujo la divulgación de información personal del 98 al 0,2 por ciento en pruebas en historiales de urgencias – mientras que la precisión médica mejoró hasta 15,8 puntos porcentuales. Es un ejemplo raro de un sistema donde la seguridad y el rendimiento realmente se mueven en la misma dirección.

En el lado de agentes, los resultados de AREX-2 y PCPO son notables. AREX-2 es un sistema que mejora sus propias respuestas mediante reflexión iterativa y continúa mejorando conforme se permite que ejecute más rondas. PCPO, que permite a los agentes aprender de sus propias soluciones generadas, superó métodos establecidos en diseño de circuitos integrados y logró mejoras de velocidad en promedio ocho veces comparado con la biblioteca estándar PyTorch. Un modelo con ocho mil millones de parámetros funcionó de manera comparable con modelos principales de código cerrado.

Finalmente, el marco VHOP muestra que la búsqueda visual puede transformarse fundamentalmente: la precisión aumentó de menos del 5 al 76,3 por ciento, y el sistema requirió 35 veces menos datos a través de interfaces externos comparado con modelos de referencia.

¿Dónde se encuentra realmente la IA?

La respuesta es: en varios lugares a la vez. La tecnología es lo suficientemente madura para generar utilidad médica y científica real, pero lo suficientemente inmadura como para ser radicalizada, repetir respuestas y perder el enfoque cuando las tareas se vuelven largas. No es una razón para pánico – pero es una razón para precisión cuando decidimos dónde la ponemos a trabajar.