On the Off-Policy Teacher in On-Policy Distillation

Cet article aborde l'asymétrie de la distillation en politique (OPD) où l'enseignant doit superviser les préfixes générés par l'étudiant, ce qui dégrade ses performances de continuation. Pour y remédier, les auteurs proposent Student-COnditioned Updates of the Teacher (SCOUT), un cadre de co-entraînement qui adapte l'enseignant aux préfixes générés par l'étudiant. En plus des mises à jour OPD standard, SCOUT optimise périodiquement la capacité conditionnelle de l'enseignant en utilisant l'apprentissage par renforcement avec des récompenses vérifiables. Des expériences contrôlées montrent que SCOUT améliore la capacité de continuation de l'enseignant et l'efficacité de la distillation.

SCOUT améliore la capacité de l'enseignant à continuer à partir de préfixes générés par l'étudiant.

SCOUT co-entraîne l'enseignant en optimisant périodiquement sa capacité conditionnelle à l'aide de l'apprentissage par renforcement avec des récompenses vérifiables en plus des mises à jour OPD standard.

SCOUT améliore constamment l'efficacité de la distillation en politique à travers de multiples configurations enseignant-étudiant, échelles de modèles et domaines de raisonnement.