CONSONANCE.for your information
lundi 5 octobre 2026frenvi

À lire de près

01 — inference 10 votes

Routing Should Pay for Itself: Sparse Supervision for Economical LLM Routing

QUESTION — Comment pouvons-nous réduire le coût de supervision initial pour entraîner un routeur de LLM tout en garantissant que les économies de service couvrent cette dépense ?

L'article propose SaveRouter, un cadre de routage à supervision éparse qui acquiert sélectivement des retours de modèles et partage des informations de capacité pour réduire les coûts de supervision initiaux. À travers quatre benchmarks, il n'utilise qu'environ 33 à 41 % des retours d'entraînement disponibles tout en maintenant la qualité, et réduit le volume de déploiement d'équilibre d'environ 1,9 à 9,5 fois par rapport au routeur conventionnel le plus rapide.

À travers quatre benchmarks de routage, le paramètre principal n'utilise qu'environ 33 à 41 % des retours d'entraînement disponibles tout en maintenant une qualité compétitive.

Réduit le volume de déploiement à l'équilibre d'environ 1,9 à 9,5 fois par rapport au routeur conventionnel le plus rapide.

Gene-Liu · 29 sept. 2026 lire l'original ↗
↑