Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone

Nghiên cứu này đề xuất Neural Spectral Capacity (NSC), một đại lượng vô hướng ở dạng đóng dựa trên phổ giá trị kỳ dị của từng ma trận trọng số. Dựa trên định luật Marchenko-Pastur, NSC có thể được tính toán trực tiếp từ thông số kiến trúc mà không cần khởi tạo mô hình, dữ liệu hay gradient. Cấu trúc cộng dồn theo từng lớp cho phép xây dựng NSC-DP, một bộ giải quy hoạch động trả về kiến trúc tối ưu hóa NSC dưới các ràng buộc tài nguyên chỉ trong vài giây trên CPU. Thực nghiệm cho thấy NSC vượt trội hơn số lượng parameter và FLOPs trong việc xếp hạng các họ Transformer và CNN.

NSC-DP khám phá ra một kiến trúc Transformer-XL trên WikiText-103 vượt qua baseline do con người thiết kế trong 2 giây.

Phương pháp pruning LLaMA-7B tạo ra mô hình 5.7B tốt nhất trên tám tác vụ suy luận thông thường mà không cần dữ liệu hiệu chuẩn.

Thuật toán nhanh hơn khoảng 5900x so với baseline proxy không cần huấn luyện mạnh nhất.