Nueva investigación: La geometría hiperbólica y la destilación de conocimiento refuerzan la capacidad matemática de los modelos de lenguaje

¿Qué ocurre realmente dentro de un gran modelo de lenguaje?

La pregunta suena filosófica, pero es profundamente práctica. En las últimas semanas, varios grupos de investigación han publicado resultados que, de distintas maneras, profundizan —y a veces desafían— nuestra comprensión de cómo funcionan realmente los grandes modelos de lenguaje. La imagen que surge es fascinante y multifacética.

La geometría como herramienta contra la incertidumbre

Uno de los hallazgos más originales procede de la investigación sobre el método HEST (Hyperbolic Entropy Steering), publicado en arXiv. La idea es elegante: cuando un modelo de lenguaje resuelve problemas matemáticos, el razonamiento sigue una estructura similar a un árbol, con unos pocos puntos de bifurcación críticos. La geometría euclidiana tradicional es mala para captar jerarquías de este tipo, pero la geometría hiperbólica está diseñada precisamente para ello.

HEST incrusta los estados ocultos del modelo en un espacio hiperbólico e interviene solo cuando la incertidumbre supera un umbral. Los resultados en modelos de Qwen2.5-Math y Llama-3.1 mostraron mejoras en cinco de seis casos, con una precisión de hasta 1,8 puntos porcentuales superior en los conocidos puntos de referencia MATH-500 y GSM8K. Modesto, pero preciso.

Un estudiante que supera a sus maestros

Otro grupo de investigación presenta Latent-MOPD, un método para destilar conocimiento de varios modelos especializados en un único modelo estudiante; no solo a partir de lo que predicen los modelos maestros, sino también de sus estados internos ocultos. El modelo estudiante supera después a los modelos maestros individuales en la mayoría de los nueve puntos de referencia de matemáticas, programación y lógica, pese a tener el mismo número de parámetros que cada maestro por separado.

A esto se suma LMOPD, una variante que introduce un orden de prioridades claro durante el entrenamiento: la corrección siempre se valora antes que la brevedad. En pruebas con puntos de referencia de matemáticas, el método conservó el 90 por ciento de la ganancia en precisión, frente al 57 por ciento del segundo mejor método de comparación. Parece un detalle, pero son precisamente este tipo de equilibrios los que determinan si un modelo es fiable en la práctica.

Gestión de memoria y eficiencia del entrenamiento

En el ámbito de la infraestructura, los investigadores informan de dos avances interesantes. Looped Prediction Transformer (LPT) permite que los transformadores en bucle compartan la caché de memoria entre ciclos de cálculo, lo que proporciona hasta 1,82 puntos menos de perplejidad en comparación con modelos estándar del mismo tamaño y reduce la memoria de contexto entre un 76 y un 79 por ciento. Son cifras notables para un cambio de arquitectura sin aumentar el presupuesto de parámetros.

En cuanto al proceso de entrenamiento, otro grupo presenta un marco que por fin ofrece una base teórica sólida sobre por qué funciona tan bien aumentar gradualmente el tamaño de lote. La clave está en cómo cambia la varianza de los gradientes estocásticos a lo largo del entrenamiento. Con un planificador adaptativo se logró una menor pérdida de validación en el preentrenamiento de modelos OLMo2, y el método requirió menos del diez por ciento del número de iteraciones que necesita de otro modo un tamaño de lote pequeño.

Personalización sin caos de almacenamiento

Un desafío más práctico lo aborda LINEUP: ¿cómo se escala la personalización de grandes modelos de lenguaje sin tener que almacenar millones de parámetros por usuario? La solución consiste en identificar patrones comunes que pueden compartirse entre usuarios, de modo que cada individuo solo necesita optimizar ocho valores escalares, frente a 4,19 millones en las soluciones tradicionales. En pruebas con seis tareas, LINEUP obtuvo mejores resultados en las doce métricas de evaluación.

El punto de referencia que plantea preguntas

Pero quizá la publicación más sugerente no trata de lo que los modelos logran, sino de lo que pasan por alto. El punto de referencia AlgoREval mide la reproducción paramétrica de código, es decir, la capacidad de reproducir algoritmos conocidos a partir de la memoria de entrenamiento, y no la de crear código nuevo. Se evaluaron quince modelos de entre 7 y 34 mil millones de parámetros con 599 problemas repartidos en 77 algoritmos clásicos, 7 lenguajes de programación y 4 representaciones de entrada.

Los resultados muestran grandes diferencias según el lenguaje de programación y la forma en que se formula la tarea, incluso para algoritmos bien conocidos y bien documentados. La conclusión de los investigadores es clara: el código algorítmico generado por IA no debe desplegarse sin una validación sistemática.

La interpretabilidad como requisito, no como extra

Por último, se presenta CRISP, un marco que convierte patrones de activación en redes neuronales binarias en reglas proposicionales simbólicas mediante las llamadas máquinas de Tsetlin. En el conjunto de datos de reconocimiento de imágenes SVHN se alcanzó una precisión de reproducción del 87,5 por ciento. Es un paso concreto hacia sistemas de IA cuyas decisiones realmente pueden examinarse y revisarse, y no solo aceptarse.