Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI

Nghiên cứu khảo sát bài toán AI-dành-cho-AI ở thời điểm kiểm thử, trong đó mô hình Builder học cách thiết lập môi trường cho mô hình Target khi trọng số cả hai được giữ cố định. Nhóm tác giả định nghĩa Meta-Skill gồm các nguyên tắc xác định thời điểm cần hỗ trợ và tài nguyên cần cung cấp. Builder học các nguyên tắc này từ phản hồi thực thi trên tập phát triển và sử dụng ngân hàng kỹ năng đóng băng để xây dựng harness cho các tác vụ chưa từng thấy. Kết quả trên Harness-Bench và NewtonBench cho thấy việc dùng toàn bộ ngân hàng meta-skills giúp cải thiện hiệu năng trung bình vĩ mô lên 8.95 điểm phần trăm so với việc không dùng kỹ năng và 12.02 điểm so với việc cung cấp trực tiếp cùng ngân hàng đó cho Target.

Full-bank meta-skills cải thiện macro-average performance thêm 8.95 điểm phần trăm so với không dùng kỹ năng.

Cải thiện hơn 12.02 điểm so với việc cung cấp trực tiếp cùng ngân hàng kỹ năng đó cho Target.