Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention

Nghiên cứu này khảo sát cách cải thiện khả năng biểu diễn (expressivity) của Kimi Delta Attention (KDA) bằng cách kết hợp một phép biến đổi luật delta đơn lẻ với phản xạ thứ hai từ cổng theo từng kênh (channel-wise gate). Các tác giả mở rộng dải tham số của KDA bằng cách cho phép các cổng nằm trong khoảng [-1,1] và hệ số luật delta β nằm trong [0,2], tạo ra mô hình Complex KDA (CKDA). CKDA duy trì sự ổn định và hiệu quả với các chuyển đổi dạng diagonal-plus-rank-one, đồng thời đạt được khả năng theo dõi trạng thái tương đương DeltaProduct_2. Thực nghiệm cho thấy CKDA vượt trội hơn Transformers và các Linear RNN khác trong bài toán mô hình hóa ngôn ngữ và ngoại suy độ dài.

Mỗi ma trận orthogonal dạng diagonal-plus-rank-one hoàn toàn khớp với một ma trận chuyển đổi CKDA.