Agent as Policy for Robotic Manipulation

L'étude présente Agent as Policy (AGP), un cadre permettant à un agent à usage général de contrôler directement des robots physiques en interprétant des preuves visuelles, en écrivant des programmes exécutables, en émettant des commandes de mouvement et en révisant ses actions en fonction des résultats physiques. AGP intègre les capacités de raisonnement et de programmation de l'agent dans une interaction continue avec le monde physique sans entraînement spécifique à une tâche ou à un environnement. Testé sur des tâches telles que l'assemblage à partir de vidéos humaines, la construction de blocs, la réorientation de dés et le pliage de serviettes bimanuel, AGP atteint des taux de réussite de 100%, 100% et 80% sur trois configurations de construction de blocs.

AGP atteint des taux de réussite de 100%, 100% et 80% sur trois configurations de construction de blocs.