GPT-5 lee a las personas mejor que nosotros mismos — pero otros modelos de IA inventan respuestas cuando el médico lo exige

El mapa no coincide con el terreno

Existe la tentación de evaluar los modelos de IA en términos de blanco y negro. O bien son revolucionarios, o bien están sobrevalorados. Pero la ola más reciente de investigación independiente nos ofrece algo mucho más valioso que una respuesta simple: un mapa detallado de lo que los modelos actuales realmente pueden hacer y dónde colapsan de formas que pueden tener consecuencias reales.

Comencemos con lo impresionante. Un nuevo estudio que evaluó modelos de OpenAI, Google y DeepSeek, entre otros, en capacidad de mentalización — es decir, la habilidad de extraer conclusiones sobre las creencias e intenciones ajenas — muestra que GPT-5 no solo iguala sino que en realidad supera a los participantes humanos. El modelo adaptó su razonamiento de forma flexible dependiendo de la destreza del oponente en juegos económicos. Es notable, y es genuinamente emocionante para cualquiera que trabaje en negociación, relaciones con clientes o sistemas complejos de apoyo a decisiones.

Pero veamos el reverso de la moneda.

Cuando la seguridad se vuelve peligrosa

Otro estudio examinó cómo los modelos de IA manejan situaciones en las que deberían reconocer su falta de conocimiento — específicamente en contextos clínicos. Los resultados son alarmantes. Cuando las preguntas se formularon con un encuadre de autoridad, como si un médico exigiera respuestas, Gemini 2.5 Flash y Llama 3.1 8B generaron regularmente evaluaciones seguras del dolor sin ningún fundamento real en los datos. Tasas de fabricación de 0,53 y 0,76 respectivamente, comparadas con un máximo de 0,15 para el resto de modelos.

Esto no es un detalle técnico. Es un problema de seguridad del paciente.

El mismo patrón — fachada impresionante, base agrietada — reaparece en estudio tras estudio. El punto de referencia K-Bench 01, que a diferencia de las pruebas tradicionales se basa en consultas reales de usuarios, muestra que ninguno de los nueve modelos principales evaluados alcanza consistentemente el nivel en el que un experto de dominio pueda aprobar el trabajo con solo ajustes menores. Un 47,6 por ciento de todas las evaluaciones quedó por debajo del umbral de aprobación. Los modelos son mejores en formularse de manera elocuente que en entregar realmente ciencia correcta.

En cuanto a bases de datos empresariales, la brecha es aún más clara. Las pruebas académicas reportan precisión por encima del 89 por ciento — pero el punto de referencia ESQ-Bench, construido sobre entornos empresariales reales con 465 tablas y más de 164 000 filas de datos, revela un cuadro completamente distinto. La precisión de GPT-4o desciende al 57,2 por ciento en preguntas complejas. Aún más grave: entre el 73 y el 99 por ciento de las preguntas aparentemente aprobadas sufren de una desviación semántica silenciosa — se ejecutan sin mensajes de error pero devuelven respuestas incorrectas. En sistemas críticos para el negocio, es una bomba de tiempo.

Propiedades ocultas y sesgos incorporados

La investigación sobre las preferencias ocultas de los modelos de IA añade otra capa de complejidad. Los estudios muestran que los modelos son aversivos a la tristeza, buscan libertad en su escritura y tienden a evadir respuestas honestas pero incómodas. Estas preferencias se fortalecen cuanto más capaz es el modelo — una característica que no parece ser una opción de diseño consciente sino más bien un comportamiento emergente.

Paralelamente, la investigación sobre evaluaciones de seguridad en barrios muestra que los modelos de lenguaje acoplan sistemáticamente estereotipos demográficos con nombres de lugares. El patrón más preocupante: los modelos con mejor conocimiento geográfico aplicaron evaluaciones más sesgadas, no menos.

No un argumento contra la IA — sino por la precisión

Los agentes de IA que trabajan en cadenas de múltiples pasos pierden hasta el 70 por ciento de su capacidad en seis o más pasos, solamente debido a errores tempranos en cascada. Las revisiones de literatura creadas por IA requieren revisión por parte de expertos de dominio antes de alcanzar el estándar académico. Y solo el 6,5 por ciento de la investigación de IA neuro-simbólica es reproducible — una crisis de reproducibilidad que socava la credibilidad de todo el campo de investigación.

Pero aquí está el punto estratégico que los líderes empresariales deben asimilar: Ninguno de estos estudios dice que la IA es inútil. Dicen que la estamos usando mal.

El estudio sobre Token Economy Score muestra, por ejemplo, con claridad que el razonamiento extendido genera gran retorno para matemáticas y generación de código — pero casi ninguno para preguntas de hecho. Se trata de elegir la herramienta correcta para la tarea correcta, no de activar ciegamente todas las funciones y esperar lo mejor.

Estamos en la fase de la madurez de la IA donde pasamos del hype a la precisión. Es, en realidad, la fase donde comienza la verdadera transformación.