Hunyuan-A13B Technical Report

Báo cáo kỹ thuật này giới thiệu Hunyuan-A13B, một LLM mã nguồn mở dựa trên kiến trúc Mixture-of-Experts có tổng cộng 80 tỷ tham số nhưng chỉ kích hoạt 13 tỷ tham số trong quá trình inference. Mô hình được huấn luyện trên 20T-token corpus với dữ liệu STEM được tinh chỉnh kỹ lưỡng, đồng thời tích hợp khung Chain-of-Thought chế độ kép để điều chỉnh độ sâu suy luận theo độ phức tạp của tác vụ. Kết quả cho thấy mô hình đạt hiệu suất cạnh tranh trong nhiều lĩnh vực và mang lại throughput cao, phù hợp cho các ứng dụng nhạy cảm về độ trễ.

It contains 80 billion total parameters but activates only 13 billion during inference, balancing model capability, computational efficiency, and deployment cost.

The model is pretrained on a rigorously filtered 20T-token corpus with enhanced STEM data curation, improving factual reliability and reasoning ability.