Cộng đồng AI tối ưu hóa mô hình nhỏ và hỗ trợ phần cứng cục bộ

AI community optimizes small models and expands local hardware support

Cộng đồng AI mã nguồn mở ghi nhận nhiều cải tiến về định lượng mô hình và khả năng chạy cục bộ trên phần cứng phổ thông. Các dự án như Bonsai 2 27B đạt tốc độ xử lý cao ở mức tiêu thụ bộ nhớ thấp, trong khi các thư viện như SGLang bổ sung hỗ trợ tính năng sinh ảnh mới.