El Allen Institute abre una plataforma de entrenamiento para modelos de IA gigantescos, con un menor coste computacional
Entrenar a los modelos de IA más grandes ha estado durante mucho tiempo reservado a un puñado de gigantes tecnológicos con recursos prácticamente ilimitados. Ahora cambia el panorama: el Allen Institute for AI lanza OLMo-core 3, una plataforma de entrenamiento totalmente abierta que, por primera vez, ofrece a investigadores y a organizaciones más pequeñas las herramientas técnicas para construir modelos con un número extremadamente alto de parámetros. La clave es una arquitectura de red inteligente que reduce drásticamente el coste computacional, sin que sea necesario sacrificar la capacidad del modelo.
La brecha de infraestructura ha sido durante mucho tiempo el mayor obstáculo de la investigación en IA
Hay un detalle que rara vez aparece en los titulares cuando OpenAI, Google o Meta presentan sus últimos modelos: la infraestructura que hay detrás. Entrenar un modelo puntero moderno no requiere solo acceso a miles de unidades de procesamiento gráfico (GPU); requiere software optimizado hasta el nivel del hardware, desarrollado por equipos con una profunda especialización y financiado con presupuestos con los que la mayoría de las universidades ni siquiera sueña.
Es esa brecha la que el Allen Institute for AI pretende ahora reducir. Según el blog de Hugging Face, el instituto ha publicado OLMo-core 3, una plataforma de entrenamiento completamente rediseñada desde cero y de código totalmente abierto para modelos de lenguaje de la próxima generación. Su principal aportación es el soporte para los llamados modelos mixture-of-experts, una arquitectura que cambia las reglas del juego en la forma de construir modelos con un número extremadamente alto de parámetros.
Redes inteligentes que no se activan innecesariamente
Para entender por qué esto es tan interesante desde el punto de vista técnico, hay que comprender brevemente qué significa realmente mixture-of-experts. Un modelo denso tradicional activa toda su red para cada pequeña unidad de texto que procesa, independientemente de si la tarea lo requiere o no. Un modelo mixture-of-experts hace lo contrario: selecciona dinámicamente un pequeño número de partes especializadas de la red, llamadas expertos, que son relevantes para el cálculo concreto que se realiza.
El resultado es que se pueden incorporar muchos más parámetros al modelo sin que el coste computacional aumente al mismo ritmo. Es una ingeniería elegante, pero también un problema que escala mal. Cuantos más expertos hay, más datos deben enviarse entre las unidades de procesamiento gráfico de un clúster, y ese coste de comunicación puede consumir rápidamente toda la ventaja.
OLMo-core 3 está diseñado precisamente para resolver ese problema.
Casi tres veces más rendimiento, pese a tener diez veces más parámetros
Las cifras del blog de Hugging Face son reveladoras. En una prueba comparativa, el número de expertos disponibles aumentó de 8 a 128, mientras que el número de expertos activados por paso de cálculo se mantuvo constante en cuatro. El número total de parámetros del modelo creció de 4,6 mil millones a 47 mil millones, es decir, diez veces más parámetros, y aun así el rendimiento no cayó de forma proporcional. Al contrario, la eficiencia de la plataforma mejoró notablemente gracias a la nueva arquitectura.
Este tipo de resultados de rendimiento suele quedarse dentro de los laboratorios de las grandes tecnológicas. Que ahora se publiquen abiertamente, con código reproducible, es en sí mismo una novedad.
La democratización no es solo una palabra de moda aquí
He seguido de cerca el movimiento de la IA abierta durante mucho tiempo, y una frustración recurrente es que «código abierto» suele significar que se publican los pesos del modelo, pero no los métodos, el código de entrenamiento ni la infraestructura que realmente se necesita para reproducir los resultados. El proyecto OLMo ha tenido desde el principio una ambición distinta: que toda la cadena esté disponible.
OLMo-core 3 continúa en esa línea. No se trata de compartir un resultado terminado, sino de ofrecer lo que realmente es difícil de construir: una plataforma de entrenamiento estable y escalable que soporte los desafíos que surgen cuando los modelos crecen hasta alcanzar órdenes de magnitud de billones.
Para un grupo de investigación académico o una empresa tecnológica de tamaño medio que quiera experimentar con arquitecturas de modelos de la próxima generación, esta es la diferencia entre lo posible y lo imposible. Y para el ecosistema de IA en general, significa que más actores pueden contribuir al desarrollo del conocimiento, y no solo consumirlo.
No es un paso pequeño.