Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing

Bài báo đề xuất RouteFM, một foundation model cho LLM routing nhằm học khả năng định tuyến có thể tái sử dụng, tổng quát hóa qua các tác vụ, candidate model và điều kiện triển khai thay vì phải huấn luyện lại liên tục. Thay vì gắn quyết định định tuyến với danh tính mô hình cố định, RouteFM học cách đặc trưng hóa các candidate model ẩn danh từ ngữ cảnh hành vi và suy ra năng lực chuyên biệt của chúng. Thông qua episodic pretraining trên các môi trường định tuyến dị thể, một router đóng băng có thể tái sử dụng khả năng này và thích ứng với môi trường mới chỉ thông qua ngữ cảnh. Thử nghiệm trên MMR-Bench cho thấy RouteFM vượt qua baseline mạnh nhất với số lượng quan sát tối thiểu.

RouteFM đặc trưng hóa các candidate model ẩn danh từ ngữ cảnh hành vi để suy ra năng lực của chúng.

Sử dụng episodic pretraining trên các môi trường định tuyến dị thể để router đóng băng có thể thích ứng qua ngữ cảnh.

Trên MMR-Bench, RouteFM vượt qua baseline mạnh nhất 2,23 quality points với chỉ tám quan sát mỗi candidate.