The Router Within: Eliciting Native Skill Routing from a Frozen LLM

Nghiên cứu này giới thiệu Gavel, một kiến trúc giúp trích xuất tín hiệu định tuyến kỹ năng trực tiếp từ các tầng giữa của LLM đóng băng mà không cần đưa văn bản kỹ năng vào context. Gavel sử dụng hai phép biến đổi tuyến tính: một bước 'glance' để chấm điểm toàn bộ thư viện dựa trên ngân hàng kỹ năng được tính sẵn, và một bước 'verdict' để xác nhận lại qua xác suất của mô hình. Kết quả thực nghiệm cho thấy phương pháp này vượt trội hơn các pipeline retrieve-and-rerank nặng nề trên nhiều benchmark và mô hình khác nhau.

Gavel vượt trội hơn các pipeline progressive disclosure và retrieve-and-rerank bổ sung từ 1.2B đến 16B tham số bên ngoài.

Cải thiện điểm số lên tới 13.4 điểm trên các tác vụ viết văn bản.

Cải thiện lên tới 21.9 điểm khi nhu cầu sử dụng kỹ năng xuất hiện ở giữa quá trình rollout.