LEGO-Anything: Coding Agents for 3D Scene Reconstruction

L'article présente LEGO-Anything, un cadre Image-to-Code où un agent de code écrit et exécute de manière itérative du code Blender pour reconstruire des programmes de scènes 3D explicites. Pour évaluer les performances, les auteurs introduisent LEGO-Bench, un benchmark ancré dans un simulateur comprenant 208 images de 104 scènes intérieures et extérieures. GPT-6-astra obtient les meilleurs résultats avec des scores de 53,4 % en intérieur et 39,6 % en extérieur. Pour remédier aux défauts récurrents des agents tels qu'une mauvaise initialisation et une auto-évaluation non fiable, les auteurs introduisent LEGO-Plugin, un plugin d'infrastructure sans entraînement apportant des gains relatifs allant jusqu'à 62,7 % du score global sur six modèles évalués.

LEGO-Bench est un benchmark ancré dans un simulateur comportant 208 images issues de 104 scènes intérieures et extérieures diversifiées.

GPT-6-astra obtient les meilleurs résultats globaux, avec des scores de 53,4 % en intérieur et 39,6 % en extérieur.

LEGO-Plugin améliore les six modèles évalués, avec des gains relatifs allant jusqu'à 62,7 % du score global.