Los sistemas de IA aprenden de sus propios errores – una nueva ola de investigación promete tiempos de entrenamiento más cortos y modelos más inteligentes
La IA que aprende de sus errores podría revolucionar cómo se entrenan los modelos del futuro.
Modelos que aprenden de errores – no solo de aciertos
Uno de los temas más recurrentes en la nueva ola de investigación trata sobre aprovechar los fracasos como fuente de aprendizaje. Tradicionalmente, los intentos de entrenamiento fallidos se descartan, pero resulta ser un desperdicio de información valiosa.
El método Mara Chain adopta un enfoque diferente: en lugar de desechar propuestas de configuración deficientes, se conservan y se refinan de forma iterativa. El resultado es impresionante – mejoras de rendimiento de hasta el 20,5 por ciento y 65,5 por ciento menos ejecuciones de prueba en comparación con el competidor más cercano. En una línea similar se encuentra GapFT, que centra el entrenamiento precisamente en aquellos casos en que el modelo fracasa en el primer intento pero tiene éxito en oportunidades repetidas. La lógica es elegante: ¿por qué malgastar recursos en lo que el modelo ya puede hacer?
Otro ejemplo es ROSS, que permite a los modelos reutilizar selectivamente sus propios datos históricos de entrenamiento. En Qwen3.6-35B-A3B, los resultados en la prueba de código SWE-bench Verified mejoraron de 64,2 a 68,4 por ciento – sin una sola ejecución de entrenamiento adicional.
Automejoría con mecanismos de frenado integrados
Los agentes de IA que aprenden por sí solos y actualizan continuamente sus propios flujos de trabajo resultan prometedores, pero ocultan un riesgo clásico: ¿qué sucede cuando una actualización mejora el promedio pero daña algo que el agente ya dominaba? Esto es precisamente lo que SAGE aborda – una compuerta estadística que requiere mejoras confiables antes de aprobar cambios. En el punto de referencia LiveMath, la proporción de regresiones bajó de 36,5 por ciento a cero.
En un espíritu similar, StepLearn trabaja en la distinción entre el uso inmediato y la confiabilidad a largo plazo. Las hipótesis que surgen durante una interacción en curso pueden guiar el siguiente paso directamente, pero deben validarse contra observaciones posteriores antes de establecerse en la base de conocimiento. Los parámetros del modelo permanecen inalterados – una decisión de diseño prudente.
Privacidad y verificabilidad – IA que puede ser examinada
Otro hilo conductor en la investigación actual es hacer que los sistemas de IA sean más confiables y transparentes – especialmente desde una perspectiva de privacidad.
PILLAR resuelve un problema fundamental con los sistemas de búsqueda basados en generación reforzada por recuperación (RAG): el servidor que almacena los documentos nunca necesita saber qué pregunta hace el usuario. El sistema combina recuperación de información privada con un método de búsqueda híbrido de dos pasos, y entrega alta calidad de búsqueda sin revelar ni términos de búsqueda ni patrones de acceso.
En el ámbito de la criptografía, nueva investigación examina cómo se pueden usar pruebas de conocimiento cero para permitir que los organismos reguladores examinen cómo se utiliza o entrena un modelo – sin obligar al proveedor del modelo a revelar sus parámetros propietarios. El estudio identifica cuellos de botella importantes a resolver, pero la dirección es clara: la gobernanza de IA necesita herramientas criptográficas.
Modelos inteligentes en hardware pequeño
Otra línea promisoria trata sobre hacer que la potencia de IA accesible esté disponible fuera del centro de datos. El enrutador neuro-simbólico probado en, entre otros, Raspberry Pi logra una precisión del 98,3 por ciento – frente al 72 por ciento del método alternativo más fuerte – y es simultáneamente 8,8 veces más rápido y 2,8 veces más eficiente energéticamente. El truco es clasificar cada solicitud y enviar tareas estructuradas como matemáticas a motores deterministas, mientras que el modelo de lenguaje solo maneja preguntas de texto abierto.
Razonamientos similares impulsan ThinQuant, que puede cuantizar el enorme modelo Llama-3.1-405B en una única tarjeta gráfica – y lo hace en menos de 12 minutos, frente a los 111 del competidor.
La especialización supera a la generalidad
Una de las conclusiones más provocadoras en el flujo reciente de investigación es que los modelos especializados regularmente superan a los gigantes generales. FLOORA, un modelo de arquitectura con solo 0,6 mil millones de parámetros, fue elegido como el mejor por evaluadores humanos en el 89,3 por ciento de los casos – a pesar de competir contra modelos muchas veces más grandes.
Este patrón se repite en medicina, matemáticas y programación: el conocimiento de dominio dirigido, reforzado con aprendizaje por refuerzo basado en preferencias humanas, parece dar más por parámetro que la amplitud.
Atención médica y ciencia se benefician de los avances
Varios de los avances más concretamente aplicables se refieren a atención médica e investigación científica. PHASE – un modelo de base para análisis de EEG intracraneal – supera todos los modelos de base comparados hasta en un 31 por ciento e puede identificar zonas de crisis epilépticas, incluso en hospitales de los que nunca vio datos de entrenamiento.
EHRFlow analiza registros electrónicos de pacientes utilizando coincidencia de flujos y puede incluso aproximar el efecto conocido de medicamentos reductores de presión arterial en simulaciones contrafácticas – sin haber sido entrenado específicamente para la tarea.