YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality

L'article présente YuE2, un modèle unifiant la génération de musique symbolique et audio grâce à la planification symbolique via un unique Mixture-of-Transformers (MoT) AR-NAR. Il écrit une partition lisible, la développe en tokens musicaux sémantiques et produit un audio complet. Pour apprendre à partir d'enregistrements non alignés, les auteurs introduisent MERT2 et SheetSage2. YuE2 obtient d'excellents scores sur WildSongBench et permet l'édition musicale par agent via des modèles de langage externes.

Experts prefer symbolic planning for overall quality and musicality, with 49.3% of overall preferences versus 34.6% without planning.

On WildSongBench, YuE2 scores 6.73 on SongBench Global Avg, exceeding all evaluated public baselines.

Selecting from eight candidates (best-of-8), YuE2 reaches 6.96, the highest observed mean among all evaluated systems.