DepthBench: Measuring How Residual Connections Enable More Computational Depth
La profondeur est un moyen naturel d'augmenter la capacité de calcul des Transformers, mais les couches profondes montrent souvent des gains décroissants. Bien que des normalisations ou connexions résiduelles améliorées existent, il reste incertain si elles convertissent réellement la profondeur architecturale en profondeur de calcul effective. Les auteurs présentent DepthBench, un benchmark contrôlé pour étudier la profondeur de calcul à travers diverses architectures en faisant varier le rapport largeur-profondeur. Évaluant dix architectures représentatives, ils constatent que les variantes de normalisation standard offrent peu d'avantages lorsque les modèles s'affinent, tandis que HC et Full AttnRes s'améliorent de manière cohérente.
Les variantes standard de Pre-LN offrent peu d'avantages et peuvent même dégrader les performances à mesure que les modèles deviennent plus profonds et étroits.
HC et Full AttnRes s'améliorent constamment même dans des configurations extrêmement profondes.
Les gains de HC et Full AttnRes sont associés à une utilisation plus efficace des couches supplémentaires.