Continual Learning Mechanisms Compose for Long-Horizon Memorization

L'article étudie la mémorisation à long terme, où un modèle apprend 100 tâches de questions-réponses par fine-tuning supervisé continu sans conserver les exemples précédents ni d'identifiants de tâches. Les auteurs organisent les mécanismes de lutte contre l'oubli selon deux dimensions de conception : des ancres de données, de fonction et de poids combinées à des règles d'allocation de rangs inférieurs. À l'aide d'expériences factorielles sur trois jeux de données de 100 tâches, la meilleure méthode combinant les trois ancres avec un LoRA fusionné fait passer la rétention finale moyenne de 1,2 % en fine-tuning séquentiel naïf à 34,9 %, soit une amélioration de 28 fois.

La méthode combinant les trois ancres avec un LoRA fusionné fait passer la rétention finale moyenne de 1,2 % sous fine-tuning séquentiel naïf à 34,9 %, soit une amélioration de 28 fois.