Si enciendes la televisión, la tasa de finalización de los asistentes de voz se desploma de 39 a menos del 9 por ciento

La promesa se encuentra con la realidad

Es fácil quedar impresionado por las demostraciones de asistentes de voz modernos. Hablan con fluidez, responden rápidamente y parecen entender casi cualquier cosa. Pero las demostraciones ocurren bajo condiciones controladas, y la realidad rara vez es controlada.

Esa es precisamente la brecha que dos nuevos estudios de investigación intentan medir, y lo hacen con una precisión que la industria necesita.

Cuando la televisión está encendida de fondo

El primer estudio introduce el indicador VAmoS Energy, diseñado para evaluar asistentes de voz en situaciones que realmente se parecen a llamadas de servicio al cliente en hogares y oficinas reales. Las pruebas simulan a personas que llaman y hacen preguntas sobre facturas de electricidad y ayuda de pago, una situación cotidiana que aún requiere que el agente maneje la verificación de identidad y varios sistemas integrados de pago.

Los resultados son reveladores: la tasa de finalización varió entre 17 y 45 por ciento dependiendo del sistema. Grok Voice tuvo el mejor desempeño, seguido por Gemini 3.8 Live y GPT-Live. En otras palabras, no es un desastre bajo condiciones ideales, pero tampoco es impresionante.

Luego vienen las perturbaciones. Cuando los investigadores añadieron ruido de fondo en forma de un programa de televisión encendido, la tasa de finalización general se desplomó de 38,7 a apenas 8,6 por ciento. Esto es un colapso, no una degradación.

Hay un patrón adicional preocupante en el estudio: los clientes simulados tienden a aceptar respuestas incorrectas, porque oyen lo que el agente dice pero no pueden verificar lo que realmente hace detrás de escenas. Esto no es solo un problema técnico, es una cuestión de confianza con consecuencias reales para quienes no tienen la oportunidad de hacer una comprobación doble.

Saber cuándo detenerse

El segundo estudio aborda un problema diferente, pero igualmente fundamental: la capacidad de pausar.

El entorno de prueba NAQD-Env está diseñado para medir cómo los agentes de IA basados en lenguaje manejan situaciones donde necesitan interrumpir o posponer acciones planeadas, por ejemplo cuando un permiso se revoca a mitad de un proceso o cuando nuevas instrucciones cambian los términos.

De 3.150 secuencias de eventos probadas con tres modelos de lenguaje abiertos diferentes, la tasa de revocación alcanzó como máximo 0,06. Y no se observó ninguna reanudación válida cuando se presentó la oportunidad. Solo un único caso coincidió con la política de referencia completa.

Son cifras que paralizan. Un agente de IA que no sabe cuándo debe detenerse no es un asistente, es un riesgo.

Los investigadores también probaron el ajuste fino supervisado, lo que arrojó resultados prometedores: la precisión de decisión del modelo Qwen2.5-3B mejoró de 0,45–0,54 a 0,83–0,92. Esto demuestra que el problema no es insoluble, pero requiere entrenamiento dirigido: no basta con construir un modelo grande y generalmente capaz.

¿Qué medimos realmente?

Lo que une los dos estudios es una pregunta metodológica importante: ¿qué elegimos probar?

La industria ha enfatizado durante mucho tiempo medir capacidades individuales bajo condiciones favorables. ¿Puede el modelo responder correctamente la pregunta? ¿Puede el agente realizar la tarea cuando todo funciona? Son puntos de partida razonables, pero medidas insuficientes de la confiabilidad real de los sistemas.

VAmoS Energy y NAQD-Env representan una forma más madura de pensar sobre la evaluación: probar toda la conversación, no solo la palabra hablada. Probar la capacidad de pausa, no solo la capacidad de actuar. Es un mejoramiento bienvenido del estándar.

Como desarrollador de sistemas, reconozco esta dinámica. Es tentador optimizar para lo medible y presentable. Lo que realmente prueba la madurez de un sistema son los casos extremos, el ruido y los cambios en las condiciones, precisamente lo que estos estudios ahora cuantifican.

Son buenas noticias que el mundo académico comience a hacer las preguntas difíciles. El siguiente paso es que los equipos de productos escuchen.