Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing

L'article propose RouteFM, un modèle de fondation pour le routage de LLM qui apprend une capacité de routage réutilisable se généralisant à travers les tâches, les modèles candidats et les conditions de déploiement au lieu d'exiger un réentraînement. Plutôt que de lier les décisions de routage à des identités de modèles fixes, RouteFM apprend à caractériser des modèles candidats anonymes à partir du contexte comportemental et à inférer leurs capacités spécifiques à une cible. Grâce à un pré-entraînement épisodique à travers des environnements de routage hétérogènes, un routeur gelé peut réutiliser cette capacité et s'adapter à de nouveaux environnements par le seul contexte. Les expériences sur MMR-Bench montrent que RouteFM surpasse le baseline le plus fort avec un minimum d'observations.

RouteFM caractérise des modèles candidats anonymes à partir du contexte comportemental et infère leurs capacités spécifiques à une cible.

Le pré-entraînement épisodique à travers des environnements de routage hétérogènes permet à un routeur gelé de s'adapter par le seul contexte.

Sur MMR-Bench, exclu du pré-entraînement, RouteFM surpasse le baseline le plus fort de 2,23 points de qualité avec seulement huit observations par candidat.