StoryEngine: A State-Grounded Agentic Framework for Video Storytelling

Bài báo đề xuất StoryEngine, một framework agent dựa trên trạng thái (state-grounded) nhằm giải quyết vấn đề trôi dạt hình ảnh và đứt gãy mạch truyện trong việc tạo video nhiều cảnh (multi-shot). StoryEngine tách biệt kế hoạch ngữ nghĩa khỏi các quan sát hình ảnh không ổn định bằng cách duy trì cấu trúc biểu diễn thực thể và trạng thái sự kiện. Khung hệ thống sử dụng một vòng lặp sửa lỗi có định hướng đánh giá để ngăn chặn lỗi cục bộ lan truyền sang các cảnh tiếp theo.

StoryEngine establishes a separation between authoritative semantic plans and unreliable visual observations.

A bounded evaluation-guided repair loop further corrects local state inconsistencies.

StoryEngine consistently outperforms state-of-the-art methods across all evaluation dimensions for video storytelling.