EmbodiedSWE: Coding Agents for Long Horizon Dexterous Robotics

Nghiên cứu này khảo sát các coding agents cho tác vụ robotics khéo léo dài hạn thông qua benchmark mô phỏng EMBODIEDSWE-BENCH, bao gồm thao tác giàu tương tác và các đối tượng dễ biến dạng đòi hỏi tới nửa giờ tương tác liên tục. Tác giả phát hiện ra rằng các coding agents tiên tiến có thể giải quyết các tác vụ phức tạp và chuyển giao giải pháp giữa các nhiệm vụ. Họ giới thiệu EMBODIEDSWE-GEN để mở rộng giải pháp của coding agent thành các quỹ đạo đa dạng phục vụ huấn luyện VLA. Kết quả chứng minh mô hình VLA tinh chỉnh bằng dữ liệu mô phỏng từ coding agent có thể hoàn thành tác vụ dài hạn trên robot thực.

Frontier coding agents có thể giải quyết các tác vụ tương tác phong phú, biến dạng và kéo dài tới nửa giờ tương tác liên tục.

EMBODIEDSWE-GEN mở rộng một giải pháp đơn lẻ từ coding agent thành các quỹ đạo lớn và đa dạng để huấn luyện VLA.

Một VLA được tinh chỉnh hoàn toàn bằng dữ liệu mô phỏng do coding agent tạo ra có khả năng hoàn thành tác vụ dài hạn trên robot thực tế.