SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning

Các tác giả giới thiệu SpatialSpeak, một framework hai giai đoạn kết hợp tiền huấn luyện tái thiết gốc QA với học tập chuỗi tư duy không gian. Giai đoạn đầu tích hợp các truy vấn 3D cho hình học cục bộ và truy vấn tâm đối tượng cho bối cảnh toàn cục. Giai đoạn thứ hai áp dụng chuỗi tư duy không gian với bù đắp trực quan để tinh chỉnh câu trả lời. Trên tập ReVSI, phương pháp này tăng mức cải thiện từ chuỗi tư duy lên từ 2.6 đến 6.9 điểm và đạt điểm số 62.8 vượt trội hơn hẳn các baseline.

On ReVSI, QA-RP increases the gain from CoT-VC from 2.6 to 6.9 points.

SpatialSpeak achieves state-of-the-art results on ReVSI, VSI-Bench, and SPAR-Bench, with a ReVSI score of 62.8 that exceeds the strongest compared baseline by 8.7 points.