vLLM intègre le support de nouveaux modèles ouverts et optimise l'infrastructure
vLLM adds day-0 support for new open-weights models and scaling infrastructure
L'écosystème vLLM a ajouté un support immédiat pour de nouveaux grands modèles ouverts et mis à jour ses outils de routage sémantique. Les mainteneurs optimisent la gestion du cache KV pour les grands déploiements.
3 comptes indépendants
13 messages
1 labos
2 460 interactions
kv cachevllm