Fractional State Space Transition for Long Sequence Modeling

Nghiên cứu giới thiệu FRAC, một kiến trúc State Space Model (SSM) chọn lọc dựa trên động lực học phân số (fractional dynamics) nhằm khắc phục hiện tượng quên theo hàm mũ (exponential forgetting) thường gặp trong các SSM dựa trên ODE. FRAC xấp xỉ kernel mục tiêu đuôi nặng (heavy-tailed) bằng tổng các mode mũ có không gian log, qua đó biến bộ nhớ phân số thành một module lặp hiệu quả hỗ trợ huấn luyện và prefill song song, đồng thời giữ nguyên khả năng giải mã tự hồi quy trạng thái hữu hạn. Thử nghiệm trên mô hình ngôn ngữ 1.3B-parameter chứng minh FRAC cải thiện đáng kể hiệu năng trên ngữ cảnh dài so với các baseline SSM tiên tiến.

FRAC thay thế sự suy giảm hàm mũ bằng bộ nhớ dài luật lũy thừa thông qua việc xấp xỉ động lực học phân số.

Kiến trúc FRAC hỗ trợ huấn luyện và prefill song song trong khi vẫn duy trì giải mã tự hồi quy trạng thái hữu hạn.

Thực nghiệm với mô hình ngôn ngữ 1.3B-parameter cho thấy FRAC cải thiện hiệu năng ngữ cảnh dài so với các SSM baseline.