Hợp tác đưa TPU vào vLLM và các bản phát hành mô hình Ternary

Partnership brings TPU to vLLM alongside new Ternary model releases

Google Cloud và Inferact công bố hợp tác đưa TPU trở thành nền tảng hạng nhất trong dự án vLLM. Bên cạnh đó, cộng đồng AI cũng thử nghiệm các mô hình nén định dạng thấp như Ternary-Bonsai-2-27B chạy trên phần cứng tiêu dùng.