TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations

Tác giả giới thiệu TrackEverything, một trình theo dõi điểm 3D đại diện cho video thành các chuỗi cảnh 3D bền vững trong tọa độ thế giới. Bằng cách sử dụng cơ chế khử trùng lặp dựa trên voxel, tách biệt việc tinh chỉnh điểm cuối với bộ giải mã quỹ đạo nhẹ, và thay thế các thể tương quan 4D bằng việc lấy mẫu tính năng hiệu quả trong đám mây cảnh, mô hình phá vỡ sự đánh đổi giữa tầm nhìn ngắn và dài. Phương pháp này có thể theo dõi tất cả các điểm nhìn thấy được qua các video vượt quá 1000 khung hình trong dung lượng dưới 40 GB GPU và vượt trội hơn các trình theo dõi 3D dày đặc mã nguồn mở khác hơn 20% APD trên các đoạn ngắn.

TrackEverything có khả năng theo dõi tất cả các điểm hiển thị trên các video vượt quá 1000 khung hình trong phạm vi 40 GB bộ nhớ GPU.

Trên TAPVid-3D, phương pháp này vượt trội hơn tất cả các trình theo dõi 3D dày đặc mã nguồn mở toàn khung hình hơn 20% APD trên các đoạn ngắn.