Partenariat pour intégrer les TPU à vLLM et lancement de modèles Ternary
Partnership brings TPU to vLLM alongside new Ternary model releases
Google Cloud et Inferact ont annoncé un partenariat pour faire des TPU des citoyens de premier ordre dans vLLM. Parallèlement, des développeurs ont testé des modèles compressés ternaires comme Ternary-Bonsai-2-27B sur du matériel grand public.
5 comptes indépendants
19 messages
10 478 interactions
vllmmixture of expertsllamallama.cppunsloth