Optimisation des systèmes d'inférence et accélération de l'exécution pour les grands modèles de langue

Optimizing inference systems and accelerating execution for large language models

Zhipu a indiqué que GLM-5.3-Flash fonctionne sur plus de 10 000 accélérateurs d'IA domestiques, atteignant une augmentation de 3,2 fois du débit grâce à une optimisation automatisée pilotée par un agent IA. Parallèlement, des modèles tels que DiffusionGemma et Ternary-Bonsai ont reçu des intégrations dans les environnements vLLM et MLX.