SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
Les auteurs étudient l'extension de contexte long pour les modèles Gated DeltaNet (GDN) à travers la perspective spectrale de la dynamique de la matrice de transition, identifiant la nécessité d'une large bande spectrale lente et de modes de dégradation rapide préservés. Ils proposent SpectralShift, une approche de reparamétrisation spectrale qui modifie l'initialisation de la projection alpha pour remodeler le spectre de décroissance. Les expériences démontrent que SpectralShift améliore régulièrement les capacités de contexte long.
SpectralShift reparamètre l'initialisation des projections alpha pour remodeler le spectre de décroissance pour Gated DeltaNet.
La méthode introduit une mise à l'échelle du taux d'apprentissage pour les projections alpha afin de faciliter l'entraînement sur contexte long.