Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone

Ce travail propose NeuralSpectral Capacity (NSC), un scalaire sous forme fermée fondé sur le spectre des valeurs singulières de chaque matrice de poids. S'appuyant sur la loi de Marchenko-Pastur, le NSC se calcule à partir de la spécification architecturale sans instanciation de modèle, de données ou de gradients. Sa structure additive par couche permet d'utiliser NSC-DP, un solveur de programmation dynamique qui renvoie l'architecture optimale en quelques secondes sur CPU. Empiriquement, le NSC surpasse les paramètres et FLOPs dans le classement des familles Transformer et CNN.

NSC-DP découvre une architecture Transformer-XL sur WikiText-103 qui surpasse la baseline conçue par l'homme en 2 secondes.

Il élague LLaMA-7B pour obtenir le meilleur modèle de 5,7B sur huit tâches de raisonnement de sens commun sans données de calibration.

Il fonctionne environ 5900x plus rapidement que la baseline proxy sans entraînement la plus forte.