OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software

Tác giả giới thiệu OSWorld-Science, một benchmark và môi trường đánh giá kết hợp các tác vụ khoa học có ý nghĩa, đánh giá dựa trên artifact và agent harness hiệu quả cho máy tính. Benchmark này tích hợp 12 VLM và 146 tác vụ chất lượng cao trải rộng qua các lĩnh vực khoa học như vẽ phân tử, phân tích hình ảnh bệnh học, tính toán thống kê và mô phỏng vật lý. Hệ thống sử dụng các trình đánh giá dựa trên việc thực thi tác vụ để kiểm tra trạng thái ứng dụng và artifact được tạo ra. Harness tích hợp hỗ trợ adapter mô hình, kiểm soát vòng lặp tương tác và ghi log quỹ đạo để so sánh hiệu suất mô hình.

OSWorld-Science chứa 12 VLMs và 146 high-quality tasks qua nhiều lĩnh vực khoa học và cấu hình phần mềm.