Nuevo modelo de IA se entrena con vídeo en primera persona para dar a los robots una mejor comprensión del mundo
Todo lo que sabes sobre manejar herramientas, desplazarte por espacios estrechos y adaptarte en un segundo nunca ha estado en ninguna base de datos, hasta ahora. La empresa surcoreana de IA TwelveLabs ha lanzado Pegasus 1.6, un modelo que se entrena con vídeo grabado desde la perspectiva del propio operario y que enseña a las máquinas a comprender el mundo desde dentro hacia fuera. Puede allanar el camino a una nueva generación de robots y vehículos que no solo ven su entorno, sino que también lo entienden mejor.
Miles de millones de horas de conocimiento al que las máquinas nunca han tenido acceso
Piensa en todo lo que sabes sobre realizar trabajo físico. Cómo ajustas instintivamente el agarre cuando algo está a punto de resbalarse de la mano. Cómo lees una situación y te adaptas en una fracción de segundo. Cómo navegas por una cocina desordenada, una planta de fábrica agitada o una obra de construcción estrecha con una naturalidad que tarda años en desarrollarse.
Nada de ese conocimiento está en una base de datos. Nadie lo ha documentado de una forma en la que una máquina pueda entrenarse. Precisamente ese es el problema que TwelveLabs aborda ahora con Pegasus 1.6, según informa The Robot Report.
– La mayoría de las cosas que las personas saben sobre realizar trabajo físico nunca se han capturado en una forma que una máquina pueda usar para entrenarse, afirma Jae Lee, cofundador y consejero delegado de TwelveLabs.
Es una idea sencilla, pero sus consecuencias son enormes.
La perspectiva en primera persona, clave para una comprensión real de las situaciones
Lo que diferencia a Pegasus 1.6 de los modelos anteriores de interpretación de imágenes es el enfoque en el vídeo en primera persona, es decir, material grabado desde el punto de vista del operario o del ejecutor, y no desde una cámara de vigilancia, una torre o una vista de dron desde arriba. Es una diferencia sutil pero decisiva.
Cuando un robot tiene que aprender a cocinar, montar componentes o desplazarse por un entorno con obstáculos, no necesita verse a sí mismo desde arriba. Necesita ver el mundo tal como se ve realmente desde su propio cuerpo. Precisamente para eso está entrenado Pegasus 1.6.
El modelo analiza material de vídeo de cocineros, montadores, operadores de robots teleoperados y otros profesionales, y a continuación extrae información estructurada sobre patrones de movimiento, relaciones espaciales y secuencias de acciones. Crucialmente, el modelo es independiente del hardware: no importa qué cámara se utilice.
Cinco flujos de trabajo que cambian la forma en que trabajan los equipos de robótica
Pegasus 1.6 no se limita a ofrecer datos en bruto: proporciona cinco flujos de trabajo especializados que hacen que la información sea directamente útil para ingenieros y desarrolladores de robótica. Entre ellos se encuentran la segmentación automática y el marcado de tiempo de las acciones, así como la generación de descripciones lingüísticas detalladas de lo que ocurre en el vídeo: qué movimientos se realizan, en qué orden y en qué contexto espacial.
Esa es la clase de datos estructurados que se necesita para entrenar los modernos sistemas de robots controlados mediante lenguaje. Sin ellos, los equipos de robótica se sientan a programar manualmente, hora tras hora. Con Pegasus 1.6, en cambio, pueden cargar horas de vídeo de trabajo real y dejar que el modelo haga el pesado trabajo de interpretación.
Qué significa esto para la tecnología autónoma
El sector de los vehículos autónomos y los robots industriales lleva tiempo lidiando con el mismo problema de fondo: es difícil preparar a una máquina para el mundo real, caótico e impredecible. Las simulaciones ayudan, pero no captan los mil pequeños detalles que hacen que una cocina o una fábrica reales se diferencien de un gemelo digital.
El vídeo en primera persona de entornos reales es lo más parecido a un material de entrenamiento auténtico, y Pegasus 1.6 está diseñado para convertir ese material en algo de lo que las máquinas pueden aprender de verdad. Es un paso concreto hacia lo que el sector suele llamar IA física: sistemas que no solo razonan con texto o imágenes, sino que comprenden el mundo tridimensional y pueden actuar en él.
Llevo el suficiente tiempo siguiendo el sector de la robótica y la IA como para saber que hay muchas técnicas prometedoras que nunca llegan a ser escalables. Pero este esfuerzo me parece diferente. Aborda un problema de cuello de botella real, la falta de datos de entrenamiento estructurados del mundo físico, con una solución práctica, independiente del hardware y directamente integrable en los flujos de trabajo existentes. Es el pensamiento empresarial encontrándose con la elegancia técnica.