ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization

Các tác giả giới thiệu ActiveSaddler, một phương pháp định hình quá trình tối ưu hóa harness của LLM agent thành một bài toán học tập giáo trình tự động (automated curriculum learning). ActiveSaddler mô hình hóa giáo trình dưới dạng một non-stationary bandit với các mục tiêu tối ưu hóa được khởi tạo động, cho phép hệ thống tự động cân bằng giữa việc khai thác các điểm yếu đã biết và khám phá các kịch bản lỗi mới. Thực thi trên GAIA2 và Terminal-Bench 2.0 cho thấy ActiveSaddler cải thiện Pass@1 lần lượt 4.4 và 7.5 điểm phần trăm so với trình tối ưu hóa sử dụng thứ tự kịch bản cố định.

ActiveSaddler cải thiện test Pass@1 thêm 4.4 điểm phần trăm trên GAIA2 so với trình tối ưu hóa harness dùng kịch bản cố định.

Nó cải thiện test Pass@1 thêm 7.5 điểm phần trăm trên Terminal-Bench 2.0 so với kịch bản cố định.