Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery

L'élagage des grands modèles ASR transformateurs comme Whisper s'est concentré sur les décodeurs, tandis que l'élagage des encodeurs reste rare en raison des besoins de code d'inférence personnalisé. Les auteurs présentent une approche classant les couches d'encodeur par changement du taux d'erreur sur les mots (WER). Les six couches provoquant le moins de changement, représentant 18,5% de la pile d'encodeurs, sont supprimées. Des données vocales monolingues non étiquetées sont utilisées pour la distillation afin de récupérer la dégradation des performances, ramenant le WER moyen à 20,1% contre 21,9% en zero-shot.

Les six couches provoquant le moins de changement sont supprimées, ce qui correspond à 18,5% de la pile d'encodeurs.

Le WER moyen sur quatre langues passe à 20,1% après distillation, contre 21,9% en zero-shot, par rapport à une référence de 18,2%.