01 · agents
An Empirical Study of Harness Design for Coding Agents
Câu hỏiCác thành phần cốt lõi của harness như quản lý ngữ cảnh, lập kế hoạch và không gian hành động ảnh hưởng như thế nào đến hiệu năng của agent lập trình?
Nhóm nghiên cứu đánh giá cấu phần của harness cho agent lập trình bằng cách giữ nguyên vòng lặp thực thi và thay đổi ba yếu tố: lập kế hoạch, không gian hành động và quản lý ngữ cảnh. Trên bốn mô hình và 176 cấu hình kết hợp trên SWE-Bench Verified và Terminal-Bench 2.1, họ phát hiện rằng quản lý ngữ cảnh ngăn chặn lỗi tràn ngữ cảnh và mang lại giá trị lớn nhất khi ngân sách ngữ cảnh eo hẹp. Lược bỏ dựa trên quy tắc kết hợp tóm tắt LLM đạt hiệu quả cao nhất. Lập kế hoạch đóng vai trò tiết kiệm chi phí cho mô hình mạnh thay vì tăng độ chính xác. Cuối cùng, giao diện chỉ dùng bash (bash-only) giúp các mô hình có khả năng bash đạt chi phí thấp hơn đáng kể mà vẫn duy trì hiệu năng tốt.
Quản lý ngữ cảnh ngăn chặn lỗi tràn ngữ cảnh và cực kỳ giá trị khi ngân sách cửa sổ ngữ cảnh eo hẹp.
Lập kế hoạch chuyển từ công cụ tăng độ chính xác cho mô hình yếu thành công cụ tiết kiệm chi phí cho mô hình mạnh.
Giao diện chỉ dùng bash cho phép các mô hình có khả năng bash đạt chi phí thấp hơn đáng kể trên các tác vụ dòng lệnh.