Geometric and Semantic Coupling for Interaction Understanding in 3D Scenes

Nghiên cứu trình bày Segment-Snap, một phương pháp kết nối các phần chuyển động và tay cầm trong cảnh 3D thông qua mối quan hệ vật lý giữa chúng. Phương pháp này sử dụng các bộ dự đoán để nhận diện bề mặt phần thể và tay cầm, kết hợp bộ giải mã hình học dùng các prior phẳng và thẳng đứng để giới hạn chuyển động. Trên tập validation của Articulate3D, việc hướng dẫn bằng tay cầm giúp nâng chỉ số motion-gated AP từ 13,74% lên 40,98% ở các mặt nạ và trục cố định.

Hướng dẫn bằng tay cầm làm tăng motion-gated AP từ 13,74% lên 40,98% ở các mặt nạ và trục cố định.

Các ứng viên tay cầm bổ sung giúp tăng handle AP từ 24,63% lên 29,65%.

Việc hiệu chỉnh lớp dựa trên phần thể giúp cộng thêm 0,98 điểm.