Cuatro imágenes no bastan: nueva investigación revela lo poco que hace falta para engañar a un sistema de IA

La fiabilidad no es opcional, es un requisito previo

Cuando hablamos de avances en IA, a menudo nos referimos a lo que los sistemas son capaces de hacer: qué tareas resuelven, con qué rapidez y con qué nivel de precisión. Pero existe una cuestión igual de importante que rara vez recibe la misma atención: ¿cómo sabemos que un sistema de IA es lo bastante fiable como para desplegarlo de verdad?

Esa es precisamente la pregunta que intentan responder dos estudios publicados recientemente en arXiv, y sus respuestas merecen detenerse a analizarlas.

Cuando cuatro imágenes no bastan

Un estudio en el ámbito de la visión artificial examina los fundamentos de la detección de anomalías basada en IA, es decir, de sistemas que emiten una alarma cuando algo parece estar mal, por ejemplo en el control de calidad industrial. Los investigadores probaron el modelo de análisis de imágenes DINOv2 con conjuntos de datos industriales y se plantearon una pregunta sencilla pero fundamental: ¿cuántos datos de entrenamiento se necesitan realmente para que un sistema así emita alarmas con una precisión garantizada?

Los resultados son claros y algo inquietantes. Con tan solo cuatro imágenes de entrenamiento, la tasa real de falsas alarmas superó el valor deseado en un 70 por ciento en condiciones de perturbación controladas. No se trata de un exceso marginal, sino de una diferencia de importancia crítica para el sistema.

Para alcanzar un límite de fiabilidad estadísticamente válido del 95 por ciento se requieren, según el estudio, al menos 14 a 59 categorías de datos independientes, en función de la precisión deseada. Un nivel que, como señalan los propios investigadores, rara vez se alcanza en la práctica.

Esto no es un argumento en contra de la IA en la industria. Es un argumento a favor de que debemos distinguir claramente entre dos cosas: medir la capacidad de un sistema para ordenar resultados y certificarlo para su despliegue con niveles de error garantizados. No son lo mismo, y la confusión puede tener consecuencias graves en entornos donde una falsa alarma, o una alarma que no salta, cuesta más que tiempo.

Préstamo de métodos entre campos

El segundo estudio se mueve en un dominio completamente distinto, la investigación farmacogenómica sobre el cáncer, pero ilustra algo que subyace profundamente en la forma en que la IA y el aprendizaje automático se desarrollan realmente: las mejores soluciones a menudo llegan desde direcciones inesperadas.

Los investigadores han aplicado la llamada Teoría de Respuesta al Ítem (IRT, por sus siglas en inglés), un método psicométrico desarrollado originalmente para analizar resultados de exámenes, al problema de ordenar la eficacia de los fármacos contra el cáncer con conjuntos de datos incompletos. En el modelo, los tipos de cáncer se tratan como sujetos de estudio con distinta resistencia, mientras que los fármacos se consideran tareas con diferente grado de dificultad.

Aplicado a más de 242 000 mediciones de sensibilidad de la base de datos GDSC2, el método funcionó notablemente mejor que el simple cálculo de medias con datos incompletos: con un 60 por ciento de valores ausentes, la precisión de la ordenación mejoró hasta 9,5 puntos porcentuales.

Los investigadores subrayan que la aportación es metodológica más que clínica. Una validación cruzada con otra plataforma mostró una coincidencia débil, lo que significa que los resultados no deben interpretarse como un catálogo universal de resistencia a los fármacos. Aun así, es un ejemplo elegante de cómo los métodos migran entre disciplinas y encuentran nuevos usos.

El hilo conductor

Estos dos estudios tratan sobre aplicaciones muy diferentes, el control de calidad industrial y la investigación sobre el cáncer, pero comparten una cuestión de fondo importante: ¿qué se necesita para que un resultado basado en IA sea lo bastante robusto como para que podamos actuar en consecuencia?

Es una pregunta que el sector en su conjunto necesita aprender a plantearse mejor. No basta con que un sistema funcione bien de media, con un conjunto de datos seleccionado y en condiciones ideales. Los entornos reales son caóticos, los datos están incompletos y los errores pueden ser costosos.

Investigar estos límites, es decir, derivar requisitos matemáticos mínimos y las limitaciones metodológicas, no es pesimismo. Es el tipo de trabajo fundamental que nos permitirá, a largo plazo, construir sistemas en los que realmente podamos confiar.