Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor Policy

Tác giả đề xuất Morphometric Imitation, một framework gồm ba giai đoạn nhằm chuyển đổi các tương tác tay-vật thể (HOIs) từ con người thành chính sách thị giác-vận động zero-shot sim-to-real. Giai đoạn đầu tiên là tối ưu hóa hình thái học (MMO) để truyền động học chuyển động giữa các hình thái tay khác nhau mà vẫn giữ nguyên điểm tiếp xúc. Giai đoạn thứ hai dùng reinforcement learning (RL) phần dư để tinh chỉnh dữ liệu động học dựa trên thông tin tư thế vật thể và tiếp xúc. Giai đoạn thứ ba chưng cất các dữ liệu này thành chính sách thị giác-vận động. Kết quả thực nghiệm trên ba loại bàn tay robot và mười HOI cho thấy MMO cải thiện độ đo contact F1 vượt ít nhất 8 điểm so với các baseline, đồng thời các chính sách đạt 89.3% tỉ lệ thành công zero-shot qua 300 thử nghiệm thực tế.

MMO cải thiện contact F1 cao hơn ít nhất 8 điểm so với 5 baseline trên mọi loại bàn tay robot.

Residual RL giúp tinh chỉnh kinematic reference thành các robot demonstration khả thi về mặt động lực học.

Visuomotor policies đạt 89.3% zero-shot success trong 300 real-world trials trên 30 objects.