APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants

Các trợ lý video stream thực tế đòi hỏi bộ nhớ dài hạn có khả năng lưu giữ trải nghiệm qua các khoảng ngắt quãng. Nghiên cứu này ra mắt APM-Bench để định hình lại tương tác streaming thành các quỹ đạo đời sống đa phiên, bao gồm hàng trăm phiên và video có chú thích chi tiết. Kết quả đánh giá trên nhiều mô hình video và hệ thống bộ nhớ cho thấy sự đánh đổi rõ rệt giữa tiện ích, độ trễ và dung lượng lưu trữ, đồng thời chỉ ra rằng các hệ thống hiện tại vẫn gặp khó khăn trong việc thu hồi thông tin dài hạn một cách đáng tin cậy.

APM-Bench bao gồm 549 session, 104 trajectory và 2.719 candidate với các câu hỏi khách quan lẫn mở.

Đánh giá cho thấy sự đánh đổi rõ rệt giữa utility, latency và storage trong các hệ thống persistent memory hiện tại.