Hunyuan-A13B Technical Report

Ce rapport technique présente Hunyuan-A13B, un grand modèle de langage open source basé sur une architecture Mixture-of-Experts, doté de 80 milliards de paramètres au total mais n'en activant que 13 milliards lors de l'inférence. Préentraîné sur un corpus de 20 billions de tokens avec une sélection rigoureuse de données STEM, le modèle intègre un cadre de pensée en chaîne à double mode qui adapte la profondeur du raisonnement à la complexité de la tâche, offrant un haut débit d'inférence adapté aux applications sensibles à la latence.

It contains 80 billion total parameters but activates only 13 billion during inference, balancing model capability, computational efficiency, and deployment cost.

The model is pretrained on a rigorously filtered 20T-token corpus with enhanced STEM data curation, improving factual reliability and reasoning ability.