SeLMRoute: Probabilistic Semantic Evidence for Large Language Model Routing

L'article propose SeLMRoute, un cadre de routage de LLM qui sépare l'extraction de preuves sémantiques indépendantes de l'apprentissage des performances des modèles. Un modèle de décision évalue d'abord des questions interprétables sur les exigences de raisonnement d'une requête sous forme de distributions de probabilités. Un routeur supervisé léger utilise ensuite cet état sémantique probabiliste pour estimer les performances des candidats. Sur LLMRouterBench, SeLMRoute atteint une précision moyenne de 72,08 % pm 0,45, contre 69,23 % pour le candidat fixe le plus fort.

Sur le LLMRouterBench (15 jeux de données, 20 modèles candidats, 11 481 requêtes), SeLMRoute atteint une précision moyenne de 72,08 % pm 0,45.

L'évaluation groupée à cinq reprises atteint 72,64 %, contre 69,23 % pour le candidat fixe le plus fort.

Dans un cadre performance-coût distinct de 13 modèles, SeLMRoute améliore les performances dans les cinq divisions groupées, avec un PerfGain moyen de 2,66 %.