SeLMRoute: Probabilistic Semantic Evidence for Large Language Model Routing

Bài báo đề xuất SeLMRoute, một framework định tuyến LLM tách rời việc trích xuất bằng chứng ngữ nghĩa độc lập với ứng viên khỏi quá trình học hiệu suất mô hình. Mô hình quyết định trước tiên đánh giá một tập hợp các câu hỏi diễn giải được về truy vấn (như yêu cầu suy luận và việc sử dụng tri thức ngoài) dưới dạng phân phối xác suất. Trạng thái ngữ nghĩa xác suất này sau đó được một router giám sát trọng lượng nhẹ sử dụng để ước tính hiệu suất mô hình ứng viên nhằm phục vụ các quyết định tối ưu về chi phí và hiệu suất. Trên LLMRouterBench gồm 15 dataset và 11.481 truy vấn, SeLMRoute đạt độ chính xác trung bình 72,08% (độ lệch 0,45), và đạt 72,64% trong đánh giá chéo 5 phần nhóm so với 69,23% của ứng viên cố định mạnh nhất.

Đạt độ chính xác trung bình 72,08% pm 0,45 trên LLMRouterBench gồm 15 dataset, 20 mô hình ứng viên và 11.481 truy vấn.

Đánh giá chéo 5 phần nhóm (grouped five-fold out-of-fold) đạt độ chính xác 72,64% so với 69,23% của ứng viên cố định mạnh nhất.

Cải thiện hiệu suất trong cả 5 phân nhóm với mức tăng trung bình PerfGain là 2,66% trong thiết lập hiệu suất-chi phí gồm 13 mô hình.