Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention

Cette recherche étudie l'amélioration de l'expressivité de Kimi Delta Attention (KDA) en combinant une transformation unique par règle delta avec une seconde réflexion fournie par sa porte canal par canal. Les auteurs étendent les plages de paramètres de KDA en autorisant les portes dans [-1,1] et le coefficient de règle delta β dans [0,2], ce qui donne le Complex KDA (CKDA). CKDA préserve la stabilité et l'efficacité avec des transitions diagonales plus de rang un tout en atteignant l'expressivité de suivi d'état de DeltaProduct_2. Les expériences montrent que le CKDA surpasse les Transformers et d'autres RNN linéaires dans la modélisation du langage et réalise une forte extrapolation de longueur.

Chaque matrice orthogonale diagonale plus de rang un est exactement une matrice de transition CKDA.