Scheduling Recursive Reasoning in Looped Transformers

Nghiên cứu này phân tích độ nhạy tổn thất cuối cùng đối với quy mô cập nhật trạng thái trong các mô hình lý luận lặp (looped transformer). Dựa trên phân rã thành phần tiến triển bền vững và dao động tập trung, nhóm tác giả đề xuất thuật toán TAPS để điều chỉnh kích thước bước nhảy trực tuyến. Kết quả thực nghiệm cho thấy TAPS cải thiện độ chính xác và đạt tốc độ nhanh hơn tới 1.56 lần mà không cần huấn luyện lại mô hình cơ sở.

TAPS yields additional accuracy gains with up to 1.56 times wall-clock speedup at matched baseline accuracy.