YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality

Bài báo giới thiệu YuE2, một mô hình hợp nhất việc tạo nhạc biểu tượng và âm thanh thông qua lập kế hoạch biểu tượng bằng cách sử dụng một Mixture-of-Transformers (MoT) AR-NAR duy nhất. Mô hình viết bản nhạc, mở rộng thành các token ngữ nghĩa và tạo ra âm thanh toàn bài hát. Để huấn luyện không cần điểm số đã căn chỉnh, các tác giả giới thiệu MERT2 và SheetSage2 để cung cấp giám sát ngữ nghĩa và biểu tượng. YuE2 đạt điểm cao trên WildSongBench và có thể chỉnh sửa âm nhạc dựa trên tác nhân thông qua phản hồi từ ngôn ngữ tự nhiên.

Experts prefer symbolic planning for overall quality and musicality, with 49.3% of overall preferences versus 34.6% without planning.

On WildSongBench, YuE2 scores 6.73 on SongBench Global Avg, exceeding all evaluated public baselines.

Selecting from eight candidates (best-of-8), YuE2 reaches 6.96, the highest observed mean among all evaluated systems.