Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs

Nghiên cứu chứng minh rằng LLM biểu hiện tính tuyến tính nền tảng: khi các input từ các dòng văn bản riêng biệt được kết hợp tuyến tính, model sẽ output superposition của các phân phối next-token riêng lẻ. Hiện tượng này giảm dần trong quá trình pretraining nhưng có thể được khôi phục thông qua lightweight fine-tuning. Thêm vào đó, nhóm tác giả giới thiệu một quy trình guided decoding giúp tách rời các output bị chồng chéo, cho phép generate đồng thời hai continuation mạch lạc chỉ từ một forward pass duy nhất.

Các LLM xuất hiện hiện tượng Superposition Linearity Hypothesis khi kết hợp tuyến tính input stream.

Tính tuyến tính có thể được khôi phục đáng kể thông qua lightweight fine-tuning.

Quy trình guided decoding cho phép generate đồng thời hai continuation mạch lạc từ một forward pass.