Agent as Policy for Robotic Manipulation

Nghiên cứu giới thiệu Agent as Policy (AGP), một framework cho phép agent đa năng tự điều khiển robot vật lý thông qua việc giải thích hình ảnh, viết chương trình thực thi, phát hành lệnh chuyển động và tự sửa đổi hành động dựa trên kết quả vật lý. AGP kết hợp khả năng suy luận và lập trình của agent vào vòng lặp tương tác liên tục với thế giới thực mà không cần huấn luyện riêng cho từng nhiệm vụ hay môi trường cụ thể. Thử nghiệm trên các tác vụ như lắp ráp từ video của người, xây dựng khối từ ảnh mục tiêu, xoay xúc xắc và gấp khăn bimanual, AGP đạt tỷ lệ thành công 100%, 100% và 80% trên ba cấu hình xây dựng khối khác nhau.

AGP đạt tỷ lệ thành công 100%, 100% và 80% trên ba cấu hình xây dựng khối.