WorldLine: Action-Driven Visual Simulation for Robotic Manipulation

Nghiên cứu giới thiệu WorldLine, một trình mô phỏng trực quan điều khiển bằng hành động giúp tách rời việc học động lực học có thể chuyển giao khỏi việc neo giữ hành động không đồng nhất. WorldLine huấn luyện động lực học thao tác từ hơn 10.000 giờ video robot không có hành động, sau đó neo giữ bằng hơn 2.000 giờ quỹ đạo hành động từ hơn 10 loại hình thái robot. Thông qua biểu diễn hành động trong không gian ảnh và chưng cất ít bước, phương pháp này đạt độ chính xác cao trong việc dự đoán kết quả quỹ đạo. Kết quả cho thấy trên các quỹ đạo thất bại, mô hình cải thiện IoU mặt nạ robot thêm 0.1626 và dự đoán chính xác thành công quỹ đạo với độ chính xác trung bình 74% trên RoboTwin và AgiBot.

WorldLine học động lực học từ hơn 10.000 giờ video robot không có hành động và neo giữ bằng hơn 2.000 giờ quỹ đạo hành động trên hơn 10 hình thái.

Trên các quỹ đạo thất bại, WorldLine cải thiện robot-mask IoU thêm 0.1626 so với baseline mạnh nhất.

Mô hình dự đoán thành công quỹ đạo với 74% độ chính xác trung bình trên RoboTwin và AgiBot, đồng thời tăng tỷ lệ thành công tác vụ lên tới 21.4 điểm phần trăm.