Register Tokens for Bounded-State Reasoning in Diffusion Language Models

L'article étudie si les modèles de langage à diffusion masquée peuvent continuer à raisonner après l'effacement du texte généré précédemment en utilisant un état transporté de taille fixe sous forme de jetons de registre. Ces jetons à position fixe et états cachés continus sont entraînés pour porter la progression du raisonnement entre les blocs de génération. Post-entraînés sur LLaDA et Dream, les registres surperforment le transport de texte discret sur tous les benchmarks, avec des gains allant jusqu'à 8,5 points en mathématiques et 19,5 points en code.

Dans nos principales comparaisons sur LLaDA et Dream, les registres surperforment le transport de texte discret sur tous les benchmarks.

Les registres obtiennent des gains allant jusqu'à 8,5 points en mathématiques.

Les registres obtiennent des gains allant jusqu'à 19,5 points sur le code.