Decoding Looped Transformers Better for (Almost) Free

Bài báo giới thiệu LoopCD, một khung giải mã đối kháng không cần huấn luyện nhằm tận dụng các trạng thái trung gian từ các Transformer lặp (Looped Transformers). Bằng cách so sánh dự đoán ở bước cuối cùng với các lượt truyền đệ quy sớm hơn (hoặc trong không gian logit hoặc trạng thái ẩn), LoopCD tạo ra các tín hiệu hướng dẫn mạnh mẽ. Phương pháp này mang lại cải thiện lớn về hiệu suất giải mã trong khi cho phép cắt giảm một nửa số vòng lặp đệ quy, qua đó giảm đáng kể chi phí tính toán khi suy luận.

LoopCD-Logits nâng độ chính xác pass@1 trên AIME 2024 của Ouro-2.6B-Thinking từ 61.88% lên 73.33%.

LoopCD-Hidden nâng pass@1 trên HumanEval của Huginn từ 22.56% lên 31.71%.

Phương pháp này cho phép giảm một nửa số vòng lặp đệ quy, làm giảm FLOPs chuyển tiếp từ 22.5% đến 48.2%.