OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation

Cet article remédie à la pénurie de benchmarks d'évaluation et de données d'entraînement pour la génération omni reference-to-video (R2V) en introduisant OmniVBench et le jeu de données Omni-R2V. OmniVBench met en œuvre une évaluation ancrée dans des facteurs à travers 7 familles de tâches utilisant 12 172 éléments de contrôle pour évaluer la préservation et le découplage des références. Parallèlement, le jeu de données Omni-R2V fournit 340 000 échantillons d'entraînement de qualité industrielle issus de séquences vidéo professionnelles via des pipelines personnalisés.

OmniVBench élargit l'évaluation R2V à travers des types de référence plus larges et couvre 7 familles de tâches et 18 tâches fines englobant le contenu, le mouvement, le style et le récit.

Il introduit une évaluation fondée sur des facteurs avec 12 172 éléments de liste de contrôle spécifiques à chaque cas pour évaluer la préservation des facteurs de référence.

Le jeu de données Omni-R2V comprend 340 000 échantillons d'entraînement traités couvrant divers types de référence et compositions multi-références.