ACLArena: Agent Continue Learning in Multi-stage Post-training

Cet article aborde l'absence de recette bien établie pour l'apprentissage continu des agents (ACL) dans le post-entraînement en plusieurs étapes en introduisant ACLArena, un cadre complet d'évaluation et d'analyse. Les auteurs examinent les mécanismes d'oubli et de généralisation aux niveaux du modèle et des tokens, comparant systématiquement la distillation en politique en direct multi-enseignants, le réglage fin autodistillé et la fusion de modèles. Enfin, ils proposent une nouvelle recette ACL combinant la lecture hors ligne sur des trajectoires de haute qualité avec un réseau routé de plusieurs experts LoRA spécialisés par apprentissage par renforcement.

Un pipeline d'entraînement séquentiel explique les mécanismes d'oubli et de généralisation du point de vue du modèle et des tokens.

Une nouvelle recette ACL combinant la lecture hors ligne sur des trajectoires de haute qualité avec un réseau routé de plusieurs experts LoRA spécialisés par RL améliore considérablement l'apprentissage multi-domaine.