WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

Nghiên cứu giới thiệu WorldAttention, một kiến trúc chú ý hướng hệ thống nhằm tăng hiệu suất cho các mô hình thế giới video tương tác tự hồi tiếp. Kiến trúc này kết hợp Hybrid Sparse Attention (HSA) - tích hợp chú ý toàn cục tuyến tính với chú ý thưa thích ứng theo đầu - cùng với Hierarchical KV Cache (HKV) để quản lý bộ nhớ đa tầng. Các thiết kế này giúp khắc phục giới hạn bộ nhớ GPU và duy trì ngữ cảnh lịch sử dài mà vẫn đảm bảo hiệu năng thời gian thực cao.

WorldAttention consistently surpasses prior state-of-the-art methods, achieving subject consistency scores of 0.9472 on VBench-Long and 0.9668 on InterVBench, respectively.