RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents

Bài báo nghiên cứu các computer-use agent lai (hybrid CUAs) có khả năng tự động khám phá giao diện, viết mã phần mềm và tự kiểm tra kết quả trực quan. Nhóm tác giả giới thiệu RecreationWorld, một khung năm nền tảng (Ubuntu, macOS, Windows, Android, Web) cung cấp các môi trường tái tạo dựa trên tham chiếu để làm phần thưởng xác thực việc thực thi. Bên cạnh đó, bài báo ra mắt RecreationBench gồm 250 tác vụ đa dạng để đánh giá. Kết quả cho thấy các mô hình như GPT-6 Astra đạt 58.1% tổng thể nhưng chỉ vượt qua toàn bộ các bài kiểm tra lập trình trên một tỷ lệ nhỏ tác vụ, cho thấy các thách thức trong việc xử lý tương tác đồ họa và kết quả tính toán.

RecreationWorld cung cấp môi trường tái tạo trên Ubuntu, macOS, Windows, Android và Web với các phần thưởng kiểm tra thực thi.

RecreationBench bao gồm 250 tác vụ đánh giá đa dạng với các khẳng định dựa trên chương trình và hình ảnh.

GPT-6 Astra đạt 58.1% điểm tổng thể nhưng chỉ vượt qua toàn bộ bài kiểm tra lập trình trên 2.8% số tác vụ.