Once computadoras domésticas ejecutan uno de los modelos de IA más potentes del mundo, sin un solo centro de datos
Un modelo de IA con 975 mil millones de parámetros se ejecuta ahora en once computadoras domésticas convencionales conectadas mediante una red sencilla, con un rendimiento que desafía a las salas de servidores dedicadas. Al mismo tiempo, el reconocimiento de voz para idiomas africanos llega a comunidades aisladas mediante hardware más barato que un teléfono de gama media. Dos avances de investigación apuntan en la misma dirección: la IA avanzada está empezando a liberarse del centro de datos.
Cuando once computadoras domésticas superan a un centro de datos
Existe la idea de que la IA realmente potente requiere enormes salas de servidores, chips fabricados a medida y costes eléctricos que quitan el aliento. Esa idea acaba de recibir un duro golpe.
Un equipo de investigadores ha presentado Cascadia, un sistema que ejecuta el modelo de IA Inkling —con nada menos que 975 mil millones de parámetros— distribuido entre once computadoras Intel Core Ultra convencionales con 64 GB de memoria cada una, interconectadas mediante una red gigabit. Según el informe de investigación publicado en arXiv, el sistema alcanza casi 60 caracteres de texto generados por segundo con carga alta, y maneja contextos de hasta 512 000 posiciones por flujo de datos.
Suena técnico, y lo es. Pero lo que significa en la práctica es más fácil de entender: computadoras que cualquiera de nosotros podría comprar en una cadena de electrónica pueden, juntas, ejecutar uno de los modelos de IA más avanzados que existen.
La clave es la arquitectura. Inkling utiliza un modelo de tipo mixture-of-experts, lo que significa que solo se activan 41 mil millones de los 975 mil millones de parámetros en cada paso de cálculo. Esto permite repartir el modelo entre varias máquinas sin que el rendimiento se desplome. La verdadera aportación del equipo es un motor de cálculo a medida que optimiza cómo se reparte el trabajo entre las GPU y los procesadores convencionales de las computadoras, un rompecabezas que resultó ser más difícil de lo que parece.
Del centro de datos a la Raspberry Pi
A una escala completamente distinta, pero con un mensaje igual de radical, otro equipo de investigadores presenta un sistema modular de IA dirigido a comunidades lingüísticas africanas, donde la voz es el principal medio de comunicación y la conexión a internet brilla a menudo por su ausencia.
El sistema está diseñado para funcionar completamente sin conexión y se ha probado en dos niveles de hardware: una NVIDIA Jetson Orin NX y una Raspberry Pi 5. Esta última es una computadora de placa única que cuesta aproximadamente una tercera parte de lo que cuesta un smartphone de gama de entrada. El sistema maneja idiomas como hausa, igbo, pidgin nigeriano y yoruba, además de reconocimiento de voz para amárico y oromo, lenguas que durante mucho tiempo han quedado a la sombra de los sistemas de IA dominados por el inglés.
Los resultados son impresionantes teniendo en cuenta las limitaciones. El modelo Gemma alcanzó una precisión del 89,2 % en la clasificación temática con el formato de compresión que mostró el mejor equilibrio entre tamaño y calidad. El sistema abarca modelos de entre 2 y 5 mil millones de parámetros e incluye un proceso estructurado de compresión y medición del rendimiento.
La misma idea, dos mundos
Es tentador ver estos dos proyectos como no relacionados: uno trata de ejecutar un modelo gigantesco en hardware de consumo, el otro de dar voz a la IA en comunidades sin infraestructura. Pero el hilo común es claro: la capacidad de la IA no debe depender del acceso a infraestructura cara y centralizada.
Cascadia demuestra que la escalabilidad puede lograrse de forma horizontal, uniendo máquinas comunes en lugar de invertir en hardware especializado cada vez más caro. El sistema africano sin conexión demuestra que la IA puede comprimirse y adaptarse para funcionar en entornos donde no hay ni banda ancha ni capacidad de servidores.
Ambos proyectos son de código abierto, una elección que no es casual. Los investigadores quieren que los resultados puedan reproducirse, desarrollarse y adaptarse. Es una señal de madurez en el campo: los avances dejan de tener sentido si solo pueden replicarlos los actores con más recursos.
Como desarrollador de sistemas, veo un cambio claro. La barrera técnica para ejecutar IA está bajando rápidamente. Lo que hace tres años requería una cuenta en la nube y un presupuesto considerable hoy puede construirse con hardware que se encuentra en un almacén o en un aula de Addis Abeba. Esto abre la puerta a un tipo de aplicaciones completamente diferente: gestionadas localmente, adaptadas a comunidades específicas y sin depender de los modelos de negocio de los proveedores de servicios ni de requisitos de conexión.
La gran pregunta ya no es si es posible. Es quién lo construirá después.