LEGO-Anything: Coding Agents for 3D Scene Reconstruction

Nhóm nghiên cứu giới thiệu LEGO-Anything, một framework Image-to-Code trong đó coding agent viết và thực thi mã Blender một cách lặp đi lặp lại để tạo ra chương trình cảnh 3D. Họ cũng tạo ra LEGO-Bench, một benchmark dựa trên mô phỏng với 208 ảnh từ 104 cảnh trong nhà và ngoài trời. Mô hình GPT-6-astra đạt kết quả cao nhất với 53,4% điểm trong nhà và 39,6% điểm ngoài trời. Phân tích chỉ ra các vấn đề như khởi tạo cảnh kém và tự đánh giá không đáng tin cậy, từ đó họ đề xuất LEGO-Plugin giúp cải thiện tất cả các mô hình với mức tăng tương đối lên tới 62,7%.

LEGO-Bench chứa 208 ảnh từ 104 cảnh trong nhà và ngoài trời đa dạng.

GPT-6-astra đạt điểm số 53,4% trong nhà và 39,6% ngoài trời.

LEGO-Plugin đem lại mức cải thiện tương đối lên tới 62.7% về tổng điểm cho các mô hình được đánh giá.