SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization

Nghiên cứu khảo sát việc mở rộng ngữ cảnh dài cho mô hình Gated DeltaNet (GDN) từ góc độ phổ của ma trận chuyển đổi. Tác giả xác định hai yếu tố cốt lõi: dải phổ chậm đủ rộng và việc bảo tồn các chế độ suy giảm nhanh để xóa trạng thái. Từ đó, họ đề xuất SpectralShift, phương pháp tái tham số hóa phổ bằng cách khởi tạo lại các phép chiếu alpha và điều chỉnh tỷ lệ tốc độ học. Thực nghiệm chứng minh phương pháp này cải thiện liên tục năng lực ngữ cảnh dài trong suốt quá trình huấn luyện.

SpectralShift tái tham số hóa khởi tạo phép chiếu alpha để định hình lại phổ suy giảm cho Gated DeltaNet.

Phương pháp này áp dụng tỷ lệ tốc độ học cho các phép chiếu alpha nhằm hỗ trợ huấn luyện ngữ cảnh dài.