CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation

Les auteurs présentent CARD, un cadre hiérarchique résolvant la tension entre personnalisation fine et déploiement scalable dans les grands modèles de langage. CARD groupe les utilisateurs selon des motifs stylistiques partagés pour apprendre des adaptateurs LoRA spécifiques, et applique un mécanisme d'apprentissage des préférences implicites pour déduire les préférences individuelles sans annotation manuelle. Au moment de l'inférence, le modèle de base reste figé tandis que la personnalisation est injectée exclusivement via des vecteurs de préférence légers et des corrections de logits de bas rang. Les expériences sur les benchmarks LaMP et LongLaMP montrent que CARD améliore la qualité de génération et l'efficacité du service.

CARD combine le regroupement d'utilisateurs avec des adaptateurs LoRA spécifiques pour assurer une généralisation robuste en milieu à faibles ressources.

Un mécanisme d'apprentissage des préférences implicites permet au modèle de déduire les préférences de style sans annotation manuelle.

CARD injecte la personnalisation exclusivement au décodage en gardant le modèle de base figé et en appliquant des vecteurs de préférence légers ainsi que des corrections de logits de bas rang.