Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor Policy

Les auteurs proposent Morphometric Imitation, un cadre en trois étapes transformant des interactions main-objet humaines (HOI) en politiques visuomotrices sim-to-real zero-shot. Premièrement, l'optimisation morphométrique (MMO) réoriente cinématiquement le mouvement humain tout en préservant les contacts démontrés. Deuxièmement, l'apprentissage par renforcement résiduel affine la référence cinématique à l'aide de la pose de l'objet et des données de contact. Troisièmement, ces démonstrations sont distillées en politiques visuomotrices. Sur trois mains de robots et dix HOI, MMO améliore le contact F1 d'au moins 8 points par rapport aux bases, et les politiques atteignent 89.3% de succès zero-shot en 300 essais réels sur 30 objets.

MMO améliore le contact F1 par rapport au plus fort de cinq baselines d'au moins 8 points pour chaque main.

L'apprentissage par renforcement résiduel affine la référence cinématique en démonstrations de robot réalisables dynamiquement.

Les politiques visuomotrices atteignent 89.3% de succès zero-shot en 300 essais réels sur 30 objets.