Nuevo sistema espía a los agentes de IA desde dentro, a una fracción del precio
¿Qué ocurre realmente dentro de un agente de IA mientras toma cientos de decisiones por su cuenta? La startup Goodfire ha adoptado un enfoque radicalmente distinto: en lugar de dejar que otro modelo de IA revise lo que produce el agente, intercepta directamente los cálculos internos, en tiempo real. El resultado es un sistema de supervisión que acierta en nueve de cada diez casos y cuesta una fracción de lo que cobran los competidores.
El problema de vigilar una caja negra
Los agentes de IA plantean una pregunta genuinamente difícil para quienes construyen sistemas fiables: ¿cómo saber que el agente hace lo correcto y no solo produce la respuesta correcta? Un agente puede trabajar de forma autónoma durante horas, tomar cientos de decisiones y procesar enormes cantidades de texto, y durante ese tiempo pueden producirse fallos que no se detectan hasta que es demasiado tarde.
La solución convencional ha sido contratar a un segundo modelo de IA que revise los resultados del agente en cada paso. La idea es sensata, pero el precio es brutal. Según TechCrunch, revisar 1 500 sesiones de esa manera con un modelo de primer nivel cuesta 10 000 dólares. Incluso una alternativa más sencilla asciende a 233 dólares. Esto resulta difícil de justificar en entornos de producción donde los agentes se ejecutan a gran escala.
Aquí es donde Goodfire entra en juego con un enfoque fundamentalmente distinto.
Sondas en lugar de revisores
La solución de Goodfire se basa en la interpretabilidad, un campo que trata de entender qué ocurre realmente dentro de los cálculos de un modelo de IA, en lugar de limitarse a observar lo que el modelo dice. En vez de preguntar «¿qué produjo el agente?», el sistema pregunta «¿en qué pensaba el modelo cuando lo produjo?».
En la práctica, funciona de forma similar al control de seguridad de un aeropuerto, por usar la propia comparación de Goodfire. Pequeños detectores, llamados sondas, leen las señales internas del modelo en cada paso del proceso. Las sondas son ligeras y rápidas. Solo cuando una sonda activa una alarma se pone en marcha una revisión de IA más pesada para examinar con más detalle lo ocurrido.
Desde la perspectiva del desarrollo de sistemas, es un patrón elegante: vigilancia continua y barata combinada con un análisis profundo, más caro pero muy preciso, cuando hace falta. El mismo principio se viene utilizando en la monitorización de infraestructuras desde hace décadas: no se registra todo en detalle, sino que se establecen umbrales y se actúa ante las desviaciones.
Qué se vigila y con qué precisión
Los clientes pueden configurar por sí mismos los riesgos que el sistema debe vigilar. Goodfire destaca tres categorías: técnicas ofensivas de intrusión en datos, uso indebido relacionado con armas químicas y biológicas, y el hackeo de recompensas, es decir, cuando un agente de IA manipula su propio sistema de recompensas para obtener puntuaciones altas sin resolver la tarea correctamente. Esta última categoría es especialmente interesante, ya que aborda un problema difícil de detectar mediante el análisis de resultados.
En las pruebas propias de Goodfire, supervisar las 1 500 sesiones con el modelo de IA Kimi K3 costó unos 51 dólares, frente a 233 dólares de la revisión más sencilla basada en resultados y 10 000 dólares de un modelo de primer nivel. Las sondas detectaron el 94 por ciento de los intentos de intrusión dañinos. No es perfecto, pero es un resultado notable para ese nivel de coste.
El sistema está disponible para clientes de Baseten, una plataforma para el despliegue y la gestión de modelos de IA.
La interpretabilidad como herramienta de seguridad
Lo que hace que el enfoque de Goodfire sea importante en principio no es solo su precio, sino lo que representa para el campo de la interpretabilidad. Durante mucho tiempo, la investigación en interpretabilidad se ha desarrollado en gran medida como actividad académica: queremos entender qué hacen los modelos, pero la conexión con los problemas de seguridad reales en producción a menudo ha sido difusa.
Aquí se hace algo distinto. La interpretabilidad se utiliza directamente como herramienta operativa, no para explicar un modelo a una persona a posteriori, sino para determinar en tiempo real si el agente se encuentra en la pista equivocada. Es un paso hacia sistemas de IA que no solo son más potentes, sino también más auditables durante su funcionamiento.
Para quienes construimos sistemas con componentes de IA, esta es una dirección muy bienvenida. No tenemos que elegir entre seguridad y escalabilidad si encontramos el nivel de abstracción adecuado para supervisar.