Ella dejó que la IA fuera su compañera de pensamiento en el aula – ahora se cuestiona si la escuela mide lo correcto

Del escepticismo a la compañera de conversación

Es fácil hablar de la IA como una revolución pedagógica. Es más difícil ser maestra en una escuela con recursos limitados donde la mitad de los estudiantes no pueden iniciar sesión en la plataforma escolar porque la red falla – e intentar aun así mantenerse al día con el desarrollo tecnológico.

Esa es precisamente la realidad descrita en un relato personal en EdSurge, donde una maestra cuenta cómo se unió al programa GenerationAI – una iniciativa que reúne a maestras en comunidades profesionales para explorar cómo la inteligencia artificial puede apoyar la enseñanza. Su enfoque: cómo la IA puede fortalecer la capacidad de escritura de estudiantes con sueco – o inglés – como segundo idioma.

Era escéptica desde el principio. Las promesas de una revolución escolar total le parecían lejanas de su realidad cotidiana. Pero la curiosidad se impuso, y la conclusión que destaca es tan simple como reflexiva: no necesitaba dominar la IA antes de poder usarla bien. En cambio, la trató como una compañera de conversación – un apoyo para el pensamiento creativo, no un sustituto de su propia competencia pedagógica.

Es una distinción que vale la pena considerar. La IA como compañera de pensamiento significa que la maestra mantiene la iniciativa y el criterio, mientras que la tecnología contribuye con perspectivas alternativas, reformulaciones y generación de ideas. No es automatización de la enseñanza – es un nuevo tipo de colegio, disponible las veinticuatro horas.

Pero ¿qué medimos realmente?

Mientras las maestras comienzan a integrar la IA en el aula, existe otra discusión más técnica: ¿cómo sabemos que las herramientas de IA que utilizamos hacen realmente lo que afirman hacer?

Ahí es donde entra en juego una nueva herramienta del Allen Institute for AI. BenchMIRT, reportado en Hugging Face Blog, utiliza técnicas derivadas de la psicometría – la ciencia de cómo medir habilidades humanas a partir de patrones de respuesta – para analizar qué miden realmente los ritmómetros de IA. La herramienta fue entrenada con resultados de cien modelos de lenguaje grandes, dieciséis ritmómetros y más de 34 000 preguntas.

Los resultados son provocadores. El ritmómetro BBQ, diseñado para medir si los sistemas de IA se basan en prejuicios sociales, resultó estar asociado en la práctica con el razonamiento lógico general más que con comportamientos de seguridad. Eso significa que un modelo puede obtener una puntuación baja en BBQ no porque sea parcial – sino porque simplemente tiene dificultades para entender la formulación de las preguntas.

De manera similar, el ritmómetro WildJailbreak, que prueba qué tan bien los modelos resisten indicaciones dañinas, contiene una mezcla de señales donde preguntas de control inofensivas miden algo completamente diferente que las preguntas dañinas.

La conexión con el aula no es casual

Las dos historias están conectadas de una manera que es fácil pasar por alto. Cuando la maestra en el artículo de EdSurge elige usar la IA como compañera de pensamiento, toma una decisión pedagógica bien fundamentada basada en su propia experiencia y las necesidades de sus estudiantes. Ella está en control.

Pero si las herramientas de IA que ella – y sus estudiantes – utilizan se evalúan con ritmómetros que miden cosas incorrectas, perdemos nuestra comprensión de lo que la tecnología realmente puede y no puede hacer. Un modelo que se ve bien en una prueba de seguridad puede que no sea seguro en absoluto. Un modelo que parece manejar el pensamiento lógico puede que en realidad sea bueno adivinando patrones en preguntas de prueba.

Para el sector educativo, esto no es una pregunta de investigación abstracta. Es una cuestión de confianza. Maestras, directoras y autoridades que eligen herramientas de IA necesitan poder confiar en que las promesas hechas sobre estas herramientas realmente se cumplen. BenchMIRT es un paso hacia poder hacer esa evaluación con mejores bases.

Una oportunidad, pero con los ojos abiertos

Espero genuinamente ese futuro en el que cada maestra tenga acceso a una compañera de conversación infatigable que la ayude a ser una mejor educadora – sin importar si trabaja en una escuela privada bien financiada o en un liceo municipal severamente limitado. Ese potencial es real.

Pero necesitamos construir ese futuro con mejores instrumentos de medición. Así como no nos conformaríamos con una prueba de matemáticas que realmente mide comprensión de lectura, no deberíamos aceptar ritmómetros de IA que midan algo diferente a lo que afirman. Herramientas como BenchMIRT no son, por lo tanto, solo interesantes para investigadoras de IA – son infraestructura fundamental para un sistema educativo que pueda tomar decisiones bien fundamentadas sobre qué tecnología realmente ayuda a los estudiantes.