Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies

Ce travail présente Grounded Entity Biographies (GEB), un cadre de mémoire vidéo longue conçu pour surmonter le fait que les descriptions textuelles laissent l'identité physique indéterminée sur des heures ou des jours. GEB regroupe des observations ancrées visuellement de la même instance physique à travers des clips en biographies récupérables tout en préservant le contexte de chaque moment. Lors de la réponse aux questions, la biographie est récupérée avec des preuves épisodiques, permettant au modèle de suivre une entité à travers les événements grâce à des liens d'identité. Des évaluations sur quatre benchmarks démontrent des améliorations par rapport aux cadres de mémoire antérieurs.

Sur EgoLifeQA, GEB atteint une précision de 72,0%, soit 4,4 points de pourcentage de plus que le meilleur résultat publié.

Le cadre regroupe des observations ancrées visuellement de la même instance physique à travers des clips en biographies récupérables.

Les ablations montrent que l'association d'identité ancrée et la lecture de biographies contribuent toutes deux aux gains.