EmbodiedSWE: Coding Agents for Long Horizon Dexterous Robotics

Cet article étudie les agents de codage pour la robotique habile à long terme en utilisant EMBODIEDSWE-BENCH, un banc d'essai de simulation nécessitant jusqu'à une demi-heure d'interaction continue. Les auteurs constatent que les agents de codage de pointe résolvent des tâches complexes et transfèrent des solutions. Pour exploiter cela, ils introduisent EMBODIEDSWE-GEN, qui traduit les solutions des agents en trajectoires diverses pour entraîner des modèles Vision-Langage-Action (VLA).

Les agents de codage de pointe peuvent résoudre des tâches complexes à long terme nécessitant jusqu'à une demi-heure d'interaction continue.

EMBODIEDSWE-GEN étend une solution unique d'un agent de codage en de grandes trajectoires diverses pour entraîner un VLA.

Un VLA affiné uniquement sur des démonstrations de simulation générées par des agents de codage réalise une tâche à long terme sur un vrai robot.