La investigación muestra que los modelos de IA pueden ejecutarse con una fracción de los requisitos de memoria actuales – sin degradación notable de calidad

¿Quién tiene recursos para ejecutar IA?

Hay una pregunta que rara vez se formula directamente en el amplio debate sobre IA: ¿quién tiene realmente recursos para usar estos modelos? No solo entrenarlos, sino ejecutarlos en producción, día tras día, consulta tras consulta. La respuesta ha sido durante mucho tiempo: quienes tienen recursos profundos y acceso a centros de datos llenos de tarjetas gráficas costosas.

Pero en este momento algo interesante está sucediendo en el mundo de la investigación. Una serie de estudios apuntan en la misma dirección – que la brecha entre lo que se requiere y lo que realmente se necesita es mucho mayor de lo que pensábamos. Y esa brecha se está cerrando rápidamente.

La cuestión de la memoria en el centro

Uno de los cuellos de botella más concretos en la ejecución de grandes modelos de lenguaje es la memoria de clave-valor – el búfer que utiliza el modelo para realizar un seguimiento de contextos de texto largos. Consume memoria de GPU a un ritmo preocupante.

Aquí la comunidad investigadora presenta ahora varias soluciones paralelas. Minima-KV almacena datos antiguos en formato comprimido y datos más recientes en mayor resolución, logrando una compresión de 3,5 veces con solo una degradación de calidad de 0,4–0,8 puntos porcentuales. PuzzleKV adopta un enfoque diferente y divide el búfer de memoria en páginas lógicas que se comprimen mediante descomposición de bajo rango – sin entrenamiento ni calibración. Con solo el 60 por ciento de la memoria original, se mantiene más del 96 por ciento del rendimiento. Combinada la técnica con cuantización, el requisito de memoria puede reducirse a poco menos del 19 por ciento.

Simultáneamente, un estudio de costos separado muestra que la compresión del búfer de memoria es 1,2 a 2 veces más barata por millón de unidades procesadas en comparación con expandir el número de tarjetas gráficas – con un aumento potencial de capacidad de hasta 16,5 veces por euro invertido. Estos son números que deberían interesar a todo director técnico que considere la implementación de IA.

Compresión como pensamiento sistémico

Lo que realmente impresiona es cómo la investigación comienza a tratar la compresión como un todo en lugar de trucos aislados. El marco llamado Compression Trinity combina tres métodos – dispersión, cuantización y aproximaciones de bajo rango – en un solo paso. La herramienta SLiM mejora la precisión hasta un 5,66 por ciento en comparación con métodos anteriores de vanguardia. Es una señal de que el campo está madurando: ya no optimizamos a lo largo de una sola dimensión.

En el lado de la cuantización se presenta FAMPWQ, que utiliza información de Fisher para analizar qué tan sensibles son diferentes capas a la reducción de precisión y asigna ancho de bits en consecuencia mediante aprendizaje por refuerzo. Los resultados superan los siete métodos de comparación, con hasta un 6,87 por ciento de mayor precisión. Un estudio panorámico de 200 trabajos científicos también identifica una tensión fundamental – la teoría de señales clásica y el hardware moderno desean tener datos organizados de formas opuestas, y no existe una solución universal. Pero 43 métodos de transformación cartografiados ahora proporcionan directrices prácticas para quién quiera elegir la estrategia correcta.

Más rápido – sin necesidad de reentrenamiento

Una de las noticias más elegantes es ExFold, un marco que acelera modelos construidos con arquitectura Mixture-of-Experts sin necesidad de reentrenamiento. En lugar de excluir expertos inactivos, sus contribuciones se proyectan matemáticamente sobre los activos. El resultado: decodificación hasta 2,45 veces más rápida manteniendo el 99 por ciento de la calidad. Es un recordatorio de que la optimización no siempre requiere reentrenamiento – a veces es suficiente con una lógica de inferencia más inteligente.

Para quienes entrenan y ajustan modelos existe AQLoRA, que identifica automáticamente las capas que pierden más precisión durante la compresión y las mantiene en resolución completa. Esto proporciona entrenamiento 11 por ciento más rápido en comparación con QLoRA optimizado – consistentemente, en los nueve casos de medición.

De centros de GPU a procesadores convencionales

Quizás el resultado más simbólico proviene de un lugar completamente diferente: un nuevo filtro de seguridad para modelos de lenguaje, entrenado con destilación de conocimiento de grandes modelos maestros, que clasifica consultas en 24 milisegundos – en un procesador convencional. Sin tarjetas gráficas. Rendimiento equivalente al de modelos nueve veces más grandes.

Y en el lado energético, un estudio empírico muestra que la elección de arquitectura de atención es crucial para cómo se escala el consumo de energía con la longitud del contexto. Los modelos con metodología de ventana deslizante mantienen un consumo de energía casi constante, mientras que la atención clásica de múltiples cabezas se escala drásticamente. La agrupación de consultas puede reducir además el consumo de energía por unidad generada hasta un 87 por ciento.

En conjunto, estos resultados de investigación apuntan hacia una dirección clara: la IA poderosa ya no necesita ser sinónimo de hardware enorme.