StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training

Bài báo chỉ ra rằng sự bất ổn định khi huấn luyện bộ token hóa hình ảnh rời rạc dựa trên lượng tử hóa véc-tơ (VQ) xuất phát từ sự vướng víu giữa quá trình huấn luyện Encoder-Decoder và Codebook. Hai mô-đun này không thể tự thực hiện trách nhiệm một cách độc lập nếu thiếu sự hợp tác mang tính tình cờ. Nhóm tác giả đề xuất StableVQ, bao gồm ba thành phần: Dynamic STE để sửa lỗi bất ổn của Encoder, Region VQ Loss để định nghĩa lại mục tiêu của Codebook giúp theo dõi phân phối đầu ra của encoder, và Decoupled Schedule để gán lịch trình tốc độ học độc lập cho từng module. Phương pháp này hoàn toàn nhẹ và không giới thiệu thêm tham số có thể học nào.

StableVQ là phương pháp nhẹ và không giới thiệu bất kỳ tham số có thể học nào mới.

Các thí nghiệm trên ImageNet chứng minh sự cải thiện nhất quán về độ ổn định khi huấn luyện, mức độ sử dụng codebook và chất lượng tái tạo.