DeltaWAM: Delta World Action Models for Bimanual Manipulation

Các world-action models (WAMs) truyền thống gặp nút thắt cổ chai về độ trễ khi xử lý các khung hình dày đặc tại thời điểm inference. Nghiên cứu này đề xuất DeltaWAM, kết hợp các luồng dense-anchor, sparse-delta và action cùng với cơ chế Streaming Delta Memory (SDM) để cập nhật context bằng các delta quan sát nhỏ gọn. Kết quả thực nghiệm trên RoboTwin cho thấy DeltaWAM tăng độ chính xác trung bình lên 85,4% ở môi trường sạch và 83,9% dưới dạng ngẫu nhiên hóa hình ảnh, đồng thời giảm FLOPs huấn luyện từ 17,78-23,77% và giảm độ trễ inference một bước 36,57%.

DeltaWAM với SDM cải thiện độ chính xác trung bình trên RoboTwin từ 81,3% lên 85,4% trong môi trường sạch và từ 75,8% lên 83,9% dưới điều kiện ngẫu nhiên hóa hình ảnh.

Ba kiến trúc được đề xuất làm giảm FLOPs huấn luyện từ 17,78-23,77%.

SDM làm giảm độ trễ inference một bước và FLOPs lần lượt là 36,57% và 31,55%.