ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
CÂU HỎI — Làm thế nào để một mô hình nền tảng nhỏ gọn có thể vượt qua các giới hạn năng lực tham số thông qua việc kết hợp suy nghĩ bên trong với việc sử dụng công cụ bên ngoài?
Nhóm nghiên cứu trình bày ZGCM-1, một mô hình nền tảng đặc 7B mở hoàn toàn được huấn luyện từ đầu với hiệu suất cao về dữ liệu, hệ thống và thuật toán cho toán học và tìm kiếm agent. Mô hình sử dụng kiến trúc kết hợp cửa sổ trượt cổng và sự chú ý toàn phần, cùng trình tối ưu hóa FP8 Muon ổn định, kết hợp mở rộng ngữ cảnh qua 16K, 64K và 256K cùng quy trình Markov Decision Processes. Kết quả cho thấy ZGCM-1-7B cạnh tranh tốt trên các benchmark tổng quát và đạt hiệu suất cao trong các bài toán suy luận toán học phức tạp, đồng thời cải thiện ~4,2x thời gian huấn luyện trước đến mức mất mát ở độ dài 16K.
Thiết kế huấn luyện trước mang lại cải tiến hiệu suất khoảng ~4,2x về thời gian huấn luyện trước đến mức mất mát ở độ dài 16K.
yshenaw · 11 thg 9, 2026
đọc bản gốc ↗