VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation

Ce travail comble une lacune dans l'évaluation du rendu de texte visuel en introduisant VTR-Bench, un benchmark systématique de 300 prompts répartis en cinq catégories. Les auteurs développent un pipeline d'évaluation automatisé aligné sur l'humain pour évaluer la fidélité du texte et les exigences de mouvement. De plus, ils proposent un Keyframe-Guided Agentic Framework où un agent Director coordonne la génération d'images et de vidéos avec une évaluation visuelle. Des expériences sur 11 modèles de pointe révèlent des difficultés de rendu généralisées, le meilleur modèle enregistrant un taux d'erreur par mot (WER) global de 0,250.

VTR-Bench features 300 carefully constructed prompts spanning five scenario categories.

The best-performing model records an overall word error rate (WER) of 0.250 across 11 evaluated state-of-the-art models.