LOCI: Spatial Linear Memory for Streaming World Models

LOCI là một kiến trúc bộ nhớ không gian lai dành cho các mô hình thế giới video streaming. Kiến trúc này phân chia các transformer block: một nửa duy trì KV cache cho các quan sát quá khứ, nửa còn lại dùng attention chunk kết hợp với bộ nhớ tuyến tính hồi lưu được định hướng bằng hình học camera chiếu. Kết quả cho thấy LOCI mô phỏng lại các cảnh quay cũ chính xác hơn các mô hình chuẩn và giảm khoảng 30% lượng đỉnh bộ nhớ so với mô hình full-softmax ở cùng chiều dài video.

With full history, it lowers peak memory at equal length by about 30% relative to full softmax.