Beyond Dyadic Memory: Interaction-Aware Multimodal Memory with Adaptive Agentic Retrieval for Multi-Party Spoken Conversations

Les auteurs proposent VoxPolyMem, un cadre de mémoire multimodale sensible aux interactions conçu pour les conversations vocales à plusieurs participants, combinant l'identification incrémentielle des locuteurs avec une structure de mémoire hiérarchique comprenant la mémoire d'interaction, la mémoire de faits et les profils des participants. La récupération est formulée comme une prise de décision séquentielle où un agent réécrit les requêtes et sélectionne des outils en fonction des preuves accumulées. Pour optimiser l'entraînement, ils introduisent Evidence-Gain GRPO (EG-GRPO) utilisant une attribution de crédit par tour. Évalué sur VoxPolyBench, VoxPolyMem obtient un score global de 85,0, dépassant la référence la plus forte de 23,6 points.

VoxPolyMem obtient un score global de 85,0 sur VoxPolyBench, surpassant la référence évaluée la plus forte de 23,6 points.

Sur Mem-Gallery et H2HMem-Multi, il obtient respectivement des scores de 89,6 et 74,4.

Il dépasse de plus de 8 points chacun des modèles de référence de mémoire publics évalués les plus forts.