DepthBench: Measuring How Residual Connections Enable More Computational Depth

Chiều sâu là cách tự nhiên để tăng năng lực tính toán trong Transformer, nhưng các lớp sâu hơn thường mang lại hiệu quả giảm dần. Mặc dù các phương pháp cải tiến chuẩn hóa hoặc kết nối tắt tồn tại, nhưng việc chúng có thực sự biến chiều sâu kiến trúc thành chiều sâu tính toán hiệu quả hay không vẫn chưa rõ ràng. Nghiên cứu giới thiệu DepthBench, một benchmark có kiểm soát để nghiên cứu chiều sâu tính toán qua nhiều kiến trúc khác nhau bằng cách thay đổi tỷ lệ chiều rộng trên chiều sâu. Kết quả trên mười kiến trúc tiêu biểu cho thấy các phương pháp chuẩn hóa tiêu chuẩn ít mang lại lợi ích khi mô hình sâu và hẹp hơn, trong khi HC và Full AttnRes cải thiện nhất quán, cho thấy thiết kế kết nối tắt đóng vai trò quyết định.

Các biến thể chuẩn hóa Pre-LN tiêu chuẩn mang lại ít lợi ích và có thể làm giảm hiệu suất khi mô hình trở nên sâu hơn và hẹp hơn.

HC và Full AttnRes cải thiện nhất quán ngay cả ở các hình dạng cực kỳ sâu.

Lợi ích của HC và Full AttnRes gắn liền với việc tận dụng hiệu quả hơn các lớp bổ sung.