Fractional State Space Transition for Long Sequence Modeling

Cet article présente FRAC, une architecture de modèle d'espace d'états sélectif (SSM) dérivée de la dynamique fractionnaire qui remplace la décroissance exponentielle par une mémoire longue en loi de puissance. FRAC approxime le noyau cible à queue lourde par une somme à états finis et espacée logarithmiquement de modes exponentiels, transformant la mémoire fractionnaire en un module récurrent efficace avec entraînement et pré-remplissage parallèles, tout en maintenant un décodage autorégressif à état borné. Des expériences sur un modèle de langage de 1.3B-parameter montrent que FRAC améliore les performances sur les longs contextes par rapport aux SSM de pointe.

FRAC remplace la décroissance exponentielle par une mémoire longue en loi de puissance en utilisant des approximations de dynamique fractionnaire.

FRAC fournit un module récurrent efficace avec entraînement et pré-remplissage parallèles tout en conservant un décodage autorégressif à état borné.

Les expériences incluant un modèle de langage de 1.3B-parameter démontrent que FRAC améliore régulièrement les performances sur les longs contextes par rapport aux SSM de référence.