Harness-Zero: Harness Distillation via Agent-as-Harness

Các tác giả nghiên cứu quá trình chưng cất harness cho agent (agent harness distillation), sử dụng một harness được tối ưu hóa theo miền hoặc trường hợp cụ thể làm hướng dẫn trong giai đoạn huấn luyện để truyền tải hành vi của nó vào trọng số mô hình. Họ đề xuất Harness-Zero, phương pháp sử dụng một agent-as-harness để chỉnh sửa phản hồi của học viên trước khi thực thi nhằm biến hướng dẫn thành các dữ liệu minh họa huấn luyện. Việc tinh chỉnh trên các quỹ đạo này giúp nội tâm hóa hành vi do harness tạo ra, cho phép loại bỏ harness chuyên biệt khi triển khai thực tế. Thử nghiệm trên các lĩnh vực tri thức, sử dụng công cụ và khoa học chứng minh hiệu quả vượt trội của phương pháp.

Đối với các frontier LLM sử dụng cùng một harness tiến hóa, agent-as-harness vượt trội hơn code-as-harness.

Harness-Zero cải thiện tỷ lệ thành công tác vụ trung bình vĩ mô của mô hình cơ sở từ 23.3% lên 44.3%, thậm chí vượt qua mức 41.7% khi vẫn gắn harness đó.

Harness-Zero khôi phục các hành vi do harness tạo ra vốn vắng mặt ở mô hình cơ sở, đạt trung bình 82.3% trên 28 mẫu trong ba miền.