PACT: From Credit Assignment to Critic Alignment
QUESTION — Comment définir mathématiquement le crédit au niveau du jeton et l'exploiter pour améliorer l'entraînement acteur-critique dans le post-entraînement des LLM ?
L'article aborde l'attribution de crédit au niveau des jetons dans l'apprentissage par renforcement pour les LLM en formulant trois conditions de régularité : l'exhaustivité, la cohérence des préfixes et la neutralité. S'appuyant sur cette base unifiée, les auteurs introduisent le Policy Aligned Critic Training (PACT), qui adopte un ordre de mise à jour Actor-then-Critic pour corriger l'échantillonnage préférentiel.
En matière de raisonnement mathématique agentique, PACT atteint une précision moyenne de 72,87 % sur quatre benchmarks, surpassant GRPO et PPO de 8,80 et 13,16 points de pourcentage.
Sur SWE-bench Verified, PACT atteint un taux de réussite de 67,4 %, surpassant PPO, GRPO et SAO de 2,4, 2,0 et 3,8 points de pourcentage.
Eclipse2001 · 22 sept. 2026
lire l'original ↗