Los modelos de lenguaje alcanzan la respuesta correcta – pero por razones completamente equivocadas

Cuando los números mienten

Imagina un consultor que entrega constantemente conclusiones correctas pero por razones completamente equivocadas. ¿Funciona a corto plazo? Quizás. ¿Es sostenible? Absolutamente no. Este es exactamente el escenario que varios nuevos estudios de investigación describen cuando examinan cómo los grandes modelos de lenguaje razonan realmente – no solo lo que producen.

El patrón común en la investigación de las últimas semanas es tan fascinante como provocador: los resultados finales de los modelos sobrestiman sistemáticamente su capacidad real de razonamiento. No es una brecha pequeña. Es un problema estructural decisivo.

Lógica médica – una señal de advertencia para toda la industria

Toma el nuevo punto de referencia LogiMed-RoB, que prueba qué tan bien los modelos de lenguaje siguen la compleja cadena lógica requerida en la revisión de estudios médicos. El mejor modelo alcanzó 98,88 por ciento de consistencia en nivel básico – impresionante, ¿verdad? Pero cuando se evaluó toda la cadena de razonamiento, el desempeño se desplomó a 45,13 por ciento. Varios modelos abiertos cayeron prácticamente a cero.

Aún más preocupante: incluso cuando los modelos encontraban la evidencia correcta, sacaban conclusiones incorrectas en hasta el 40 por ciento de los casos. Este es un ejemplo clásico de obtener la información correcta y aun así fallar en usarla adecuadamente. En contextos clínicos, no es una curiosidad técnica – es una cuestión de seguridad del paciente.

Revisión científica – un área que requiere más que reconocimiento de patrones

El mismo problema fundamental aparece en la evaluación original científica. El punto de referencia NovGauge, que probó 18 modelos de lenguaje diferentes en la capacidad de evaluar la novedad de investigación, mostró que el grado de alucinación variaba entre 0 y 39 por ciento. Más del 70 por ciento de las evaluaciones correctas carecían de apoyo creíble en la evidencia citada. Incluso el modelo de mejor desempeño, GPT-5.5, alcanzó solo 43–72 por ciento en precisión verificada.

Esto no es un argumento contra el uso de IA en procesos científicos. Es un argumento contra usar IA sin supervisión en tales procesos.

Herramientas de código – una brecha de aplicación, no una brecha de conocimiento

En el lado técnico, el punto de referencia SemVerBench revela algo casi paradójico. Los modelos conocen las reglas para el control de versiones en código – pero fracasan en aplicarlas consistentemente. GPT-4.1 no pasó ninguno de los 26 casos de prueba en un caso límite específico dentro del estándar PEP 440 de Python. El Claude Opus de Anthropic, por el contrario, obtuvo 97–100 por ciento y superó todos los modelos de OpenAI con certeza estadística.

La recomendación de los investigadores es elegante en su simplicidad: delega la lógica de versiones a herramientas dedicadas y sin errores que ya están disponibles – y deja que la IA haga lo que la IA realmente es buena haciendo. Es diseño de sistema pragmático, no una derrota.

Razonamiento científico en múltiples pasos – un cuello de botella en medio de la cadena

El punto de referencia Sci-MMR prueba la capacidad de agentes de IA multimodales de razonar basándose en evidencia científica en múltiples pasos. Los resultados muestran que la precisión en respuestas finales excede consistentemente la capacidad de informar evidencia correcta en más de 20 puntos porcentuales. Esto significa que los métodos de evaluación actuales sobrestiman drásticamente cuán confiables son realmente los sistemas – el 57 por ciento de los errores provienen de la incapacidad de extraer información estructurada de figuras científicas.

Apoyo emocional – la dinámica relacional es demasiado compleja para los modelos actuales

Y si nos movemos hacia lo más humano de las áreas – apoyo emocional – el punto de referencia RESCUE confirma la misma limitación fundamental. Los modelos de lenguaje se desempeñan razonablemente bien cuando pueden apoyarse en señales emocionales locales, pero carecen de la capacidad de modelar cómo se desarrollan las relaciones interpersonales a lo largo del tiempo. No es sorprendente. Pero es importante ser honesto al respecto.

¿Cuál es realmente el problema?

Común a todos los estudios es una distinción que en la industria necesitamos tomarnos muy en serio: la diferencia entre producir la respuesta correcta y entender por qué es correcta. No es lo mismo. Un modelo que alcanza 95 por ciento de acierto en una prueba pero carece de razonamiento coherente detrás de las respuestas no es más confiable que un modelo que tiene éxito en el 70 por ciento de los casos con lógica transparente y verificable.

Se trata de cultura de evaluación. Hemos aprendido a aplaudir puntuaciones finales. Ahora debemos empezar a examinar las cadenas de razonamiento.