FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders

Các tác giả giới thiệu FuseReg, một phương pháp chuẩn hóa thay thế việc chọn lựa tầng cố định bằng việc huấn luyện trên các tập con ngẫu nhiên của các tầng encoder. Bằng cách phạt độ nhạy cảm với sự bất đồng giữa các tầng, phương pháp này tạo ra một decoder duy nhất có thể tái tạo từ nhiều kiểu tích hợp tầng khác nhau mà không cần huấn luyện lại. Kết quả thực nghiệm trên ImageNet-256 cho thấy việc thay thế decoder giúp giảm gFID không hướng dẫn 27%, trong khi chuẩn hóa kết hợp trong huấn luyện diffusion giúp giảm gFID không hướng dẫn 29%.

Decoder replacement alone reduces unguided gFID by 27% with an unchanged RAEv2 DiT-XL generator.

Joint regularization of both stages reduces unguided gFID by 29% on DiT-Base.