Routing Should Pay for Itself: Sparse Supervision for Economical LLM Routing

Bài báo đề xuất SaveRouter, một framework định tuyến sử dụng cơ chế giám sát thưa thớt (sparse-supervision) để lựa chọn phản hồi mô hình một cách có chọn lọc và chia sẻ thông tin năng lực giữa các truy vấn liên quan. Phương pháp này giải quyết vấn đề chi phí thu thập dữ liệu giám sát quá cao và tình trạng bão hòa chất lượng định tuyến trong các hệ thống hiện tại. Qua 4 benchmark định tuyến, SaveRouter chỉ sử dụng khoảng 33-41% dữ liệu phản hồi huấn luyện khả dụng nhưng vẫn duy trì chất lượng tương đương hoặc tốt hơn, đồng thời giảm thể tích triển khai hòa vốn khoảng 1,9-9,5 lần so với các router thông thường nhanh nhất.

Sử dụng khoảng 33-41% dữ liệu phản hồi huấn luyện khả dụng trên 4 benchmark định tuyến.

Giảm thể tích triển khai hòa vốn khoảng 1,9-9,5 lần so với router thông thường nhanh nhất.