Memorizon: Training World Models Beyond Their Context Window

Bài báo giới thiệu Memorizon, một phương pháp huấn luyện world model giúp tách rời nhu cầu giám sát dài hạn khỏi cơ chế attention đầy tốn kém. Thay vì tính attention trên toàn bộ lịch sử, mô hình cho phép các lần ghé thăm khác nhau chia sẻ forward pass và mỗi chunk được chấm điểm sẽ tự động truy xuất top-K latent dựa trên độ trùng lặp góc nhìn (co-visibility) để tạo thành một ngân hàng (bank) chung bị chặn bởi kích thước kK. Kỹ thuật này giúp chi phí mỗi bước huấn luyện ổn định khi tăng độ dài chuỗi; ví dụ tăng từ 100 lên 400 giây chỉ làm tăng 12% thời gian xử lý mỗi bước. Kết quả cho thấy việc sử dụng bộ nhớ truy xuất giúp tăng độ nhất quán khi quay lại (revisit consistency) trên mọi tập dữ liệu.

Tăng khoảng thời gian từ 100 lên 400 giây chỉ làm tăng 12% thời gian cho mỗi bước huấn luyện.

Việc sử dụng bộ nhớ truy xuất giúp tăng độ nhất quán khi quay lại trên mọi tập dữ liệu.

Điền dữ liệu vào ngân hàng từ một tập phim (episode) khác làm giảm độ tương quan khi quay lại tới 83%.