CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering

Tác giả giới thiệu CUA-SWE, một benchmark, môi trường và pipeline đánh giá kết hợp giữa kỹ thuật phần mềm và khả năng sử dụng máy tính. CUA-SWE giải quyết khoảng trống trong việc nghiên cứu quy trình phát triển tích hợp, nơi các agent phải kết nối các quan sát trực quan từ giao diện đồ họa với mã nguồn chịu trách nhiệm, sau đó sử dụng lại ứng dụng để xác minh bản sửa lỗi. Trải qua bốn lĩnh vực kỹ thuật phần mềm, benchmark yêu cầu agent chỉnh sửa mã và cấu hình, thực thi lệnh, tương tác với phần mềm đang chạy và kiểm tra phản hồi trực quan trong cùng một tác vụ. Mỗi tác vụ đi kèm các bài kiểm tra xác định để xác minh tính chính xác của phần mềm thu được.

CUA-SWE cung cấp một môi trường thử nghiệm thống nhất trên bốn lĩnh vực kỹ thuật phần mềm.

Benchmark tích hợp các tiêu chí đúng đắn có thể thực thi để kiểm tra phần mềm kết quả.