AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines

Bài báo giới thiệu AgSpec, một framework giải quyết các điểm mù của retrieval-based speculative decoding trong các đường ống coding agent. Bằng cách kết nối các tập ngữ liệu phiên làm việc, không gian làm việc và toàn cục, cùng với việc định hình lại định dạng phát thải và kiểm soát độ dài dự đoán động dựa trên phản hồi xác thực, AgSpec tối ưu hóa quá trình tạo mã. Kết quả thực nghiệm trên hai benchmark lập trình đa tác tử ở cấp độ repository cho thấy AgSpec vượt trội hơn năm loại drafter dựa trên truy xuất và EAGLE-3, đẩy thông lượng tạo mã lên tới 4.37 lần ở batch size 1 và 4.76 lần ở batch size 16 so với phương pháp giải mã tự hồi quy.

AgSpec nâng cao thông lượng tạo mã so với giải mã tự hồi quy lên tới 4.37 lần ở batch size 1 và 4.76 lần ở batch size 16.

AgSpec vượt trội hơn năm retrieval-based drafter và EAGLE-3 trong hầu hết các cài đặt được đánh giá trên hai benchmark lập trình đa tác tử cấp độ repository.