Chạy mô hình trọng số mở cục bộ trên thiết bị phần cứng hạn chế

Running local open-weight models on constrained hardware devices

Các nhà phát triển triển khai mô hình 27 tỷ tham số định dạng tam phân ở mức 1,72 bit mỗi trọng số trên một card đồ họa duy nhất với 12GB VRAM. Bên cạnh đó, các bản cập nhật tích hợp nhân Metal của llama.cpp và hỗ trợ SGLang cho mô hình tạo ảnh đã được phát hành.