La IA prometió un 99,9 % de precisión en la sanidad, pero llegó la realidad

La exageración se topa con la realidad en la IA médica

No faltan los entusiastas de la IA en la sanidad. Cada semana se publican nuevos estudios que prometen un diagnóstico mejorado, tratamientos a medida y un uso más eficiente de los recursos. Pero ¿aguanta la investigación cuando se rasca un poco la superficie? Tres nuevos estudios de arXiv ofrecen una imagen matizada y nos recuerdan que el camino del laboratorio a la clínica es considerablemente más tortuoso de lo que sugieren los titulares.

Cuando el 99,9 por ciento resulta ser una ilusión

Quizá el más llamativo sea el de un equipo de investigadores que ha estudiado si la IA puede predecir cómo responden los pacientes con depresión a la estimulación magnética transcraneal repetitiva (rTMS), un método de tratamiento no invasivo que estimula el cerebro con campos magnéticos. El método es prometedor para los pacientes que no responden a los medicamentos, pero faltan buenas herramientas para determinar quién se beneficia realmente del tratamiento.

Los investigadores convirtieron datos de actividad cerebral (EEG) en imágenes de tiempo-frecuencia y entrenaron con los resultados una red neuronal compacta. En las pruebas internas, el modelo alcanzó una precisión de hasta el 99,9 por ciento, un resultado que en un comunicado de prensa habría sonado revolucionario.

Pero entonces llegó la verdadera prueba. Cuando los investigadores aplicaron una evaluación más estricta, en la que los datos de ningún paciente podían aparecer tanto en el entrenamiento como en las pruebas, el rendimiento se desplomó. La mayoría de las configuraciones obtuvieron resultados similares a los de una simple suposición al azar. El modelo, por tanto, había aprendido patrones específicos de cada paciente en lugar de relaciones generalizables que puedan aplicarse a personas nuevas.

Este es un problema conocido en el aprendizaje automático médico, pero resulta refrescante que los investigadores sean transparentes al respecto. El estudio sienta un precedente importante sobre cómo debe ser la validación rigurosa antes de que los modelos de IA desempeñen algún papel en contextos clínicos.

Un modelo de lenguaje que de verdad sabe cuándo no sabe

Otro problema recurrente de los grandes modelos de lenguaje en la sanidad es que a menudo parecen seguros, incluso cuando se equivocan. Un modelo que presenta un diagnóstico erróneo con una aparente certeza elevada no solo es inservible, sino también potencialmente peligroso.

Aquí, los investigadores presentan un sistema llamado OmniMed-Jev, que trata las decisiones médicas como opciones estructuradas en lugar de texto libre. En vez de generar una respuesta, el modelo devuelve una distribución de probabilidad completa sobre los posibles resultados: diagnósticos, hallazgos y valores de medición. Esto significa que las cifras que informa significan realmente lo que dicen, una propiedad que se denomina calibración.

Los resultados son impresionantes: el error de calibración se redujo hasta diez veces en comparación con un modelo base generativo, sin que la precisión general empeorara de forma notable. Sin embargo, los investigadores subrayan que esto no es una prueba de utilidad clínica y que se necesitan más estudios. Esa honestidad merece respeto.

Datos sintéticos que realmente se pueden entender

Un tercer desafío de la IA médica es el acceso a los datos. Los datos reales de pacientes son difíciles de compartir por razones de integridad y restricciones éticas, lo que frena la investigación. Los datos sintéticos, es decir, conjuntos de datos generados por máquinas que se asemejan a datos reales de pacientes, son una solución prometedora, pero sus métodos suelen ser difíciles de auditar y de comprender.

Un nuevo método basado en los llamados Fuzzy Cognitive Maps (FCM) adopta un enfoque distinto. En lugar del aprendizaje profundo, que funciona como una caja negra, el método describe las características clínicas mediante conjuntos difusos comprensibles desde el punto de vista lingüístico y codifica explícitamente las relaciones entre variables. Así, es posible rastrear y entender cómo se genera la información sintética, algo crucial en aplicaciones críticas para la seguridad.

En conjuntos de datos médicos de referencia, el método alcanzó una precisión de hasta 0,81 y un valor AUROC de hasta 0,90 para datos de enfermedades cardíacas, lo que iguala o supera a modelos de aprendizaje profundo más exigentes desde el punto de vista computacional. Y todo ello funciona en un procesador convencional, sin necesidad de hardware caro.

Tres estudios, un mismo patrón

Lo que une a los tres estudios es una sana honestidad sobre sus limitaciones. Ninguno afirma haber resuelto nada: identifican problemas, proponen enfoques y son claros sobre lo que queda por hacer. Precisamente ese tipo de investigación básica es la que, a largo plazo, puede llevar a herramientas clínicas que funcionen.