PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control

Nhóm tác giả đề xuất PhysStream, một mô hình tự hồi quy dành cho việc tổng hợp ảnh thành video dựa trên nền tảng vật lý. Mô hình tích hợp bộ nhớ cảnh có cấu trúc (gồm bản đồ vị trí và theo dõi đối tượng sinh ra trực tuyến) và hỗ trợ điều khiển chuyển động chi tiết thông qua các tín hiệu gia tốc vận tốc thưa thớt mã hóa đại lượng vật lý. Quá trình huấn luyện gồm hai giai đoạn: tinh chỉnh mô hình hai chiều với điều kiện điều khiển chuyển động, sau đó huấn luyện mô hình nhân quả tự hồi quy với bộ nhớ cảnh. Kết quả thực nghiệm cho thấy PhysStream giảm khoảng cách phân phối chuyển động và lỗi quỹ đạo đáng kể trên các benchmark tổng hợp, đồng thời được người dùng ưu tiên trong phần lớn các so sánh thực tế.

PhysStream giảm motion distribution distance (FVMD) đi 33% so với các baseline mạnh nhất trên các benchmark tổng hợp.

PhysStream giảm trajectory error đi 12% so với các baseline mạnh nhất trên các benchmark tổng hợp.

PhysStream được những người đánh giá là con người ưa chuộng trong hơn 85% các so sánh trong môi trường thực tế.