MemoryAthena: Adaptive Routing over Latent and Generated Memories

L'article étudie la combinaison de la mémoire générée avec la mémoire récupérée via MemoryAthena, qui utilise trois voies : la récupération directe Engram (E), la génération à partir d'indices récupérés (GE) et la génération à partir d'états du backbone (GH). En utilisant E comme point d'ancrage, une tête de routage causale légère est entraînée pour déterminer quand les représentations générées doivent intervenir par interpolation bornée. Sur la question-réponse, MemoryAthena fait passer la moyenne de cinq tâches de 37,65 à 39,28, tandis que la moyenne générale NLP à six tâches passe de 76,73 à 79,13, avec un système de mémoire d'environ 201M paramètres.

MemoryAthena élève la moyenne de cinq tâches de 37,65 à 39,28 par rapport à la voie directe du même point de contrôle.

La moyenne générale NLP à six tâches passe de 76,73 à 79,13.

Le système côté mémoire complet contient environ 201M paramètres, hors backbone gelé.