Grounded Action Model: 3D Grounding as a Foundation for Robotics

Cet article propose les Grounded Action Models (GAM), un nouveau paradigme de modèles de fondation robotiques fondé sur l'ancrage 3D. GAM prend en entrée des indices textuels, de points ou de boîtes, les transforme en une représentation centrée sur l'objet combinant géométrie et vision, puis l'associe à l'historique de l'état du robot via un transformateur multi-flux pour prédire des blocs d'actions. Évalué sur RoboTwin 2.0, GAM atteint un taux de réussite moyen de 55,3% sur 50 tâches contre 52,0% pour Spatial Forcing, et obtient 61% sur LIBERO-PRO à travers 16 contextes de perturbation.

GAM achieves an average success rate of 55.3% across 50 tasks (vs. 52.0% for Spatial Forcing).

47.6% under scene randomization (vs. 30.4% for Abot-M0).

achieves a state-of-the-art average success rate of 61% (vs. 53% for π_{0.5}) across 16 perturbation settings.