TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations

Les auteurs présentent TrackEverything, un système de suivi de points 3D représentant les vidéos sous forme de trajectoires de scènes 3D persistantes. En utilisant un mécanisme de déduplication par voxelisation, en séparant le raffinement des points d'arrivée du raffinement de trajectoire léger, et en remplaçant les volumes de corrélation 4D par un échantillonnage de caractéristiques, le modèle brise le compromis entre suivi éparse à long terme et suivi dense à court terme. Il suit tous les points visibles dans des vidéos de plus de 1000 images avec moins de 40 Go de mémoire GPU et surpasse les suiveurs 3D denses open source de plus de 20 % d'APD sur les clips courts.

TrackEverything est le premier suiveur 3D capable de suivre tous les points visibles dans des vidéos dépassant 1000 images avec 40 Go de mémoire GPU.

Sur TAPVid-3D, TrackEverything surpasse tous les suiveurs 3D denses open source de plus de 20 % d'APD sur les clips courts.