WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

Cette recherche présente WorldAttention, une architecture d'attention orientée système conçue pour les modèles mondiaux vidéo interactifs. En co-concevant des noyaux d'attention spécialisés et une gestion hiérarchique de la mémoire, elle intègre une attention éparse hybride combinant attention globale linéaire et attention éparse adaptative, ainsi qu'un cache KV hiérarchique (HKV) organisant les paires KV historiques. Cette conception élimine la saturation de la mémoire GPU tout en maintenant le contexte historique.

WorldAttention consistent surpass prior state-of-the-art methods, achieving subject consistency scores of 0.9472 on VBench-Long and 0.9668 on InterVBench, respectively.