ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search

Les auteurs présentent ZGCM-1, un modèle de fondation dense de 7B entièrement ouvert et entraîné à partir de zéro avec une grande efficacité pour les mathématiques et la recherche agentique. Le modèle intègre une attention alternée par fenêtre glissante et une attention complète, un optimiseur stable FP8 Muon, ainsi qu'une mise à l'échelle du contexte sur 16K, 64K et 256K. Les évaluations montrent que ZGCM-1-7B est compétitif sur les benchmarks généraux et les suites de raisonnement mathématique complexes, tout en offrant une amélioration d'efficacité d'environ 4,2x du temps de pré-entraînement par rapport à la perte à 16K.

La conception du pré-entraînement offre une amélioration d'efficacité d'environ 4,2x du temps de pré-entraînement par rapport à la perte à 16K.