SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation

Cet article présente SAKI (Supervision Allocation with KL-constrained Interpolation), qui combine un déploiement guidé par l'enseignant contraint par KL avec un couplage maximal pour acheminer la supervision au niveau des jetons dans la distillation en ligne (OPD). Les positions acceptées conservent la supervision KL inverse du jeton échantillonné, tandis que les positions de correction reçoivent une supervision directe sur le jeton de plus haute probabilité de l'enseignant. Les auteurs mettent également en œuvre un vérificateur spéculatif résident dans le moteur qui préserve la distribution des trajectoires tout en améliorant le débit de déploiement de 4,22x. Sur sept benchmarks de raisonnement mathématique, SAKI améliore le modèle de base en Mean@8 et Pass@8 pour les étudiants de 1.7B et 0.6B.

SAKI améliore le débit de déploiement de la charge de travail correspondante de 4,22x grâce à un vérificateur spéculatif résident dans le moteur.

La méthode améliore Mean@8 et Pass@8 sur sept benchmarks de raisonnement mathématique pour les étudiants de 1.7B et 0.6B.

Sous un couplage maximal, la probabilité de correction est exactement TV(p_t, q_t).