Beyond Dyadic Memory: Interaction-Aware Multimodal Memory with Adaptive Agentic Retrieval for Multi-Party Spoken Conversations

Nghiên cứu đề xuất VoxPolyMem, một framework bộ nhớ đa phương thức nhận thức tương tác cho các cuộc trò chuyện thoại nhiều người tham gia, kết hợp nhận diện người nói gia tăng với hệ thống phân cấp gồm bộ nhớ tương tác, bộ nhớ sự kiện và hồ sơ người tham gia. Quá trình truy xuất được xây dựng như một bài toán ra quyết định tuần tự kết hợp phương pháp Evidence-Gain GRPO (EG-GRPO) để phân bổ phần thưởng theo từng vòng. Đánh giá trên benchmark VoxPolyBench, VoxPolyMem đạt điểm tổng thể 85,0, vượt trội hơn các mô hình baseline trước đó.

VoxPolyMem đạt điểm tổng thể 85,0 trên VoxPolyBench, vượt baseline mạnh nhất 23,6 điểm.

Trên Mem-Gallery và H2HMem-Multi, hệ thống đạt lần lượt 89,6 và 74,4 điểm.

Khung hệ thống vượt qua các baseline bộ nhớ công khai mạnh nhất hơn 8 điểm ở mỗi tập dữ liệu.