Nueva técnica reduce la IA potente hasta diez veces – manteniendo el 98 por ciento del desempeño

IA en el bolsillo – sin dependencia de la nube

En los últimos años, el debate sobre la IA se ha centrado en la carrera armamentística de los gigantes: quién construye las mayores salas de servidores, quién consume más energía, quién controla más datos. Es un mundo donde el acceso a la IA en la práctica presupone acceso a recursos enormes – y una conexión a internet estable. Pero esa narrativa comienza a resquebrajarse.

Según TechCrunch, la startup PrismML, fundada por el equipo de investigadores detrás del Caltech, ha logrado comprimir el conocido modelo de lenguaje abierto Qwen 3.8 27B de Alibaba desde un formato pesado y que consume muchos recursos hasta apenas 5,9 gigabytes. Se trata de una reducción de nueve a diez veces comparado con el original – y a pesar de ello, el modelo mantiene el 98 por ciento del desempeño del modelo original según los criterios establecidos.

El resultado se denomina Bonsai 2 27B, y el nombre parece acertado. Tal como el arte del bonsái consiste en preservar la esencia en un formato reducido, la técnica de PrismML se trata de destilar la inteligencia del modelo de IA sin sacrificar lo que realmente lo hace valioso.

La tecnología detrás de la reducción

El corazón del método de PrismML es lo que ellos llaman ponderación ternaria. En un modelo de lenguaje tradicional, cada llamado peso – los parámetros que controlan cómo el modelo razona – se almacena con 16 bits de información. El enfoque de PrismML reduce cada peso a uno de tres valores posibles: +1, −1 o 0. Suena casi absurdamente simple, pero el resultado es dramático: una fracción del espacio de memoria original, con capacidad preservada.

El predecesor Bonsai 1, lanzado ya en marzo, alcanzó el 95 por ciento del desempeño original – y desde entonces ha sido descargado más de once millones de veces. No es un experimento académico. Es una clara señal del mercado de que la necesidad existe.

El equipo detrás de la tecnología

La empresa está dirigida por Babak Hassibi, profesor del Caltech y especialista en tecnología de compresión – una persona que durante décadas ha trabajado en el mismo problema que ahora comienza a resolverse en la práctica. Entre los asesores se encuentra Ion Stoica, cofundador de Databricks y líder del prestigioso Sky Computing Lab de Berkeley. La empresa de capital de riesgo Khosla Ventures está entre los inversores – un nombre que rara vez falla a la hora de identificar tempranamente cambios tecnológicos con verdadero peso.

En otras palabras, no se trata de simples entusiastas. Es un equipo con profunda credibilidad técnica y una misión clara: hacer la IA avanzada accesible fuera del centro de datos.

¿Qué significa esto en la práctica?

Seamos concretos. Un modelo de 5,9 gigabytes cabe en una computadora portátil ordinaria – y potencialmente en un teléfono inteligente avanzado. Esto significa que la IA potente puede ejecutarse localmente, sin conexión, sin conectividad en la nube. Sin suscripción. Sin enviar datos sensibles a servidores externos. Sin depender de que OpenAI, Google o Microsoft decidan mantener disponibles sus servicios.

Esto no es una mejora marginal. Es un salto de democratización.

Para un médico en una región con conectividad a internet deficiente. Para un periodista en un país con restricciones de red censuradas. Para una pequeña empresa que no puede permitirse los costos operativos de los servicios en la nube. Para una escuela que quiere dar a los estudiantes acceso a herramientas de IA sin estar dependiente de plataformas externas. En todos estos contextos, la diferencia entre dependencia de la nube y ejecución local no es técnica – es existencial.

No solos – pero a la vanguardia

PrismML no son los únicos que trabajan en compresión de modelos. Investigadores de Meta, Microsoft Research y varios grupos académicos han investigado durante mucho tiempo la cuantización y poda de modelos. Pero la combinación de compresión de nueve veces, 98 por ciento de desempeño preservado y once millones de descargas del predecesor coloca a PrismML en una liga diferente – al menos en cuanto a llegar realmente a los usuarios.

El avance técnico es impresionante. La prueba comercial es aún más convincente.