PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control

Les auteurs proposent PhysStream, un modèle autorégressif pour la synthèse d'image en vidéo ancrée dans la physique. Le modèle intègre une mémoire de scène structurée (comprenant des cartes de position et de suivi d'objets générées en ligne) et prend en charge un contrôle de mouvement fin via des signaux d'incrément de vitesse parcimonieux encodant des quantités physiques. L'entraînement se fait en deux étapes : un modèle bidirectionnel est d'abord fine-tuné avec un conditionnement de contrôle de mouvement, puis un modèle autorégressif causal est entraîné avec la mémoire de scène. Les résultats expérimentaux montrent que PhysStream réduit la distance de distribution des mouvements et l'erreur de trajectoire sur des benchmarks synthétiques, tout en étant préféré par les évaluateurs humains dans la grande majorité des comparaisons en conditions réelles.

PhysStream réduit la distance de distribution des mouvements (FVMD) de 33% par rapport aux baselines les plus fortes sur des benchmarks synthétiques.

PhysStream réduit l'erreur de trajectoire de 12% par rapport aux baselines les plus fortes sur des benchmarks synthétiques.

PhysStream est préféré par les évaluateurs humains dans plus de 85% des comparaisons en conditions réelles.