EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

Các tác vụ thực tế đòi hỏi tác nhân phải hành động dưới các ràng buộc vật lý trong đó việc sử dụng công cụ đóng vai trò cốt lõi. Tuy nhiên, các mô hình video đa phương thức hiện tại vẫn còn hạn chế trong việc lập luận tập trung vào công cụ do thiếu dữ liệu egocentric thực tế và benchmark chẩn đoán. Nghiên cứu này giới thiệu EgoTools, bao gồm EgoTools-Data (bộ dữ liệu ghi âm egocentric 100 giờ) và EgoTools-Bench (benchmark 1.000 cặp QA). Kết quả thử nghiệm cho thấy các mô hình hiện tại vẫn gặp khó khăn trong việc gắn kết việc sử dụng công cụ với bằng chứng trực quan, nhưng việc tinh chỉnh có giám sát toàn diện với EgoTools-Data giúp cải thiện đáng kể hiệu suất của mô hình.

Gemini-3.1-Pro đạt 66,9% độ chính xác tổng thể nhưng chỉ đạt 51,7% ở hạng mục Perception & Grounding.

Việc tinh chỉnh có giám sát hoàn toàn với EgoTools-Data cải thiện độ chính xác của Qwen3-VL-8B-Instruct từ 50,0% lên 60,9% trên toàn bộ benchmark 1.000 câu hỏi.