PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

Bài báo giới thiệu PixelDense, một phương pháp định tuyến các bộ mã hóa ngữ nghĩa (DINOv2, SAM2) qua một luồng chiếu ngữ nghĩa và các bộ mã hóa hình học (Depth Anything v2, Metric3D v2) qua một luồng hình học, đồng thời áp dụng hình phạt trực giao không gian trọng số để giữ hai luồng ở các không gian con rời ranh giới. Phương pháp này giải quyết vấn đề cạnh tranh gradient ngữ nghĩa và hình học trong việc huấn luyện transformer khuếch tán. Áp dụng cho PixelGen và DeCo, PixelDense nâng điểm GenEval Overall của PixelGen-XXL từ 0.7927 lên 0.8093, cải thiện PQ lên tới 53.1% và giảm AbsRel độ sâu 36.0% ở $\tau=0.5$, đồng thời đạt đỉnh GenEval nhanh hơn 1.23x.

PixelDense nâng PixelGen-XXL GenEval Overall từ 0.7927 lên 0.8093.

Đạt mức cải thiện PQ lên tới 53.1% và giảm độ sâu AbsRel 36.0% ở $\tau=0.5$.

Đạt đỉnh GenEval của baseline nhanh hơn 1.23x từ khởi tạo ngẫu nhiên.