WorldLine: Action-Driven Visual Simulation for Robotic Manipulation

La recherche présente WorldLine, un simulateur visuel piloté par des actions qui dissocie l'apprentissage de la dynamique transférable de l'ancrage d'actions hétérogènes. WorldLine entraîne la dynamique de manipulation sur plus de 10 000 heures de vidéos de robots sans action et les ancre à l'aide de plus de 2 000 heures de trajectoires d'action sur plus de dix incarnations, en utilisant une représentation d'action dans l'espace image. La distillation en quelques étapes axée sur le robot permet des déploiements causaux efficaces tout en préservant la précision du mouvement. Sur les trajectoires échouées, WorldLine améliore l'IoU du masque de robot de 0.1626 par rapport à la référence la plus solide, prédit le succès des trajectoires avec une précision moyenne de 74% sur RoboTwin et AgiBot, et améliore le succès des tâches jusqu'à 21.4 points de pourcentage.

WorldLine apprend la dynamique de manipulation à partir de plus de 10 000 heures de vidéos de robots sans action et les ancre à l'aide de plus de 2 000 heures de trajectoires d'action sur plus de dix incarnations.

Sur les trajectoires échouées, il améliore l'IoU du masque de robot de 0.1626 par rapport à la référence la plus forte.

Il prédit le succès des trajectoires avec une précision moyenne de 74% sur RoboTwin et AgiBot, améliorant le succès des tâches jusqu'à 21.4 points de pourcentage par rapport à l'exécution directe de la politique.