Un modelo de IA comprimido de 8 GB supera al original de 54 GB en llamadas a herramientas y cabe en portátiles
Conway Research ha reducido un modelo de lenguaje de 54 GB a poco menos de 8 GB, sin sacrificar rendimiento. Al contrario: en una de las capacidades más importantes en la práctica, la de invocar funciones externas y actuar de forma autónoma, la versión comprimida supera a su original, considerablemente voluminoso. Saluki 27B es una prueba concreta de que la IA eficiente ya no está reservada a organizaciones que pueden permitirse operar sus propios centros de datos.
El tamaño ya no es una carta decisiva
Durante mucho tiempo ha existido un acuerdo tácito en el mundo de la IA: si se quiere un buen rendimiento, se necesitan modelos grandes. Los modelos grandes requieren máquinas grandes. Las máquinas grandes exigen presupuestos grandes. Esa lógica empieza ahora a resquebrajarse de verdad.
Conway Research presenta, según MarkTechPost, Saluki 27B, una versión comprimida a dos bits de Qwen3.8-27B, publicada bajo la licencia abierta Apache 2.0. El modelo original pesa 54 GB, un formato que requiere una infraestructura de servidores costosa para funcionar con fluidez. Saluki 27B pesa 7,89 GB. Es una reducción de tamaño de casi un 85 por ciento, y el modelo cabe sin problemas en la mayoría de los ordenadores de consumo modernos.
Lo impresionante no es solo que el modelo aguante a pesar del grado de compresión, sino que en un ámbito decisivo rinde mejor que el original.
Llamadas a herramientas: donde los agentes muestran su fuerza
Para quien no trabaja a diario con agentes de IA, el concepto de "llamada a herramientas" puede necesitar algo de contexto. Un modelo de lenguaje que solo genera texto es, en esencia, un autocompletador de texto avanzado. Pero cuando el modelo se conecta a funciones externas —buscar en la web, leer un archivo, invocar una API, ejecutar código—, se convierte en un agente autónomo que puede actuar en el mundo, no solo escribir sobre él.
La capacidad de realizar estas llamadas correctamente, y preferiblemente varias en paralelo, es por ello una de las medidas más relevantes en la práctica para evaluar la utilidad de un modelo en aplicaciones reales. Aquí, Saluki 27B obtiene 42 puntos en llamadas a herramientas en paralelo, frente a los 35 del original. No es una diferencia marginal, sino una mejora clara.
¿Cómo puede un modelo comprimido superar al original? Una explicación probable es que el proceso de entrenamiento previo a la compresión ha ajustado el modelo específicamente para estas tareas, lo que casualmente encaja mejor con la estructura del punto de referencia. También es posible que la limitación forzada de los pesos del modelo funcione como una forma de regularización, un efecto bien conocido en el aprendizaje automático, en el que cierto grado de restricción fuerza una mejor generalización en tareas concretas.
Las concesiones existen, pero son manejables
Saluki 27B no está libre de defectos. En matemáticas avanzadas y razonamiento de varios pasos, el rendimiento baja entre 12 y 18 puntos porcentuales en comparación con el original. Es un deterioro real que no debe barrerse debajo de la alfombra. Quien planee usar el modelo para razonamientos matemáticos complejos o para largas cadenas de inferencias lógicas debe pensarlo bien.
Sin embargo, para la gran mayoría de casos de uso prácticos —asistencia en programación, análisis de documentos, flujos de agentes, extracción estructurada de datos—, los puntos de referencia indican que un 96 por ciento de rendimiento medio es más que suficiente. Es una decisión de compromiso bien fundamentada, no una concesión desesperada.
Otra ventaja que no debe subestimarse: el modelo se ejecuta en la versión estándar de llama.cpp, el marco más extendido para la ejecución local de IA. Esto significa que no se requiere software especializado, ni dependencias exóticas, ni instalaciones complicadas. Se descarga el modelo, se inicia llama.cpp y se pone en marcha. La importancia de un umbral bajo para el uso generalizado de una herramienta no puede sobrestimarse.
El código abierto marca la diferencia
El hecho de que Conway Research haya optado por la licencia Apache 2.0 no es un detalle menor. Significa que el modelo puede usarse, modificarse y desarrollarse libremente, también en contextos comerciales. En un panorama en el que muchos modelos potentes son cerrados o tienen licencias restrictivas, es una decisión activa que reduce la barrera de entrada para desarrolladores, investigadores y empresas que quieren experimentar sin firmar acuerdos complejos.
Saluki 27B es un buen ejemplo de cómo el código abierto y la compresión eficiente democratizan conjuntamente el acceso a una IA capaz, no como una posición política, sino como un hecho práctico.