Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies

Công trình này đề xuất Grounded Entity Biographies (GEB), một framework bộ nhớ video dài nhằm giải quyết việc mô tả văn bản có thể bỏ qua danh tính vật lý của các đối tượng qua nhiều giờ hoặc nhiều ngày ghi hình. GEB nhóm các quan sát được định vị trực quan của cùng một thể thực tế qua các clip thành các 'tiểu sử' có thể truy xuất trong khi vẫn giữ nguyên bối cảnh của từng khoảnh khắc. Trong quá trình trả lời câu hỏi, tiểu sử này được truy xuất cùng với bằng chứng theo từng tập (episodic evidence), cho phép mô hình theo dõi một thực thể qua các sự kiện bằng các liên kết danh tính. Đánh giá trên bốn benchmark cho thấy cải tiến so với các framework bộ nhớ trước đó trong cả câu hỏi trắc nghiệm lẫn tự luận.

GEB đạt độ chính xác 72,0% trên EgoLifeQA, cao hơn 4,4 điểm phần trăm so với kết quả công bố tốt nhất.

Khung bộ nhớ nhóm các quan sát được định vị trực quan của cùng một thể thực tế qua các clip thành các tiểu sử có thể truy xuất.

Các bài kiểm tra cắt bỏ (ablations) cho thấy sự kết hợp liên kết danh tính có căn cứ và đọc tiểu sử đều đóng góp vào hiệu suất.