LOCI: Spatial Linear Memory for Streaming World Models

LOCI est une architecture de mémoire spatiale hybride pour les modèles de monde vidéo en flux continu. Elle répartit les blocs transformer entre ceux maintenant un cache clé-valeur et ceux utilisant une attention restreinte complétée par une mémoire linéaire récurrente conditionnée par la géométrie de la caméra. Les expériences montrent que LOCI reconstruit les scènes visitées avec plus de fidélité tout en réduisant la mémoire de pointe d'environ 30% par rapport au full softmax.

With full history, it lowers peak memory at equal length by about 30% relative to full softmax.