vLLM tích hợp hỗ trợ các mô hình mở mới và tối ưu hóa suy luận

vLLM adds day-0 support for new open-weights models and scaling infrastructure

Hệ thống vLLM đã cập nhật hỗ trợ cho nhiều mô hình mở trọng số mới như IQuest-Q1 và triển khai các bộ định tuyến ngữ nghĩa cải tiến. Các nhóm phát triển đang tập trung tối ưu hóa việc quản lý bộ nhớ đệm KV và phối hợp tiền nạp trên quy mô lớn.