OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation

Bài báo giải quyết sự thiếu hụt tài nguyên đánh giá và huấn luyện cho mô hình omni reference-to-video (R2V) bằng cách giới thiệu OmniVBench và Omni-R2V Dataset. OmniVBench cung cấp một đánh giá dựa trên nhân tố với 12.172 mục kiểm tra cụ thể để kiểm tra khả năng bảo toàn và gỡ rối yếu tố tham chiếu qua 7 họ tác vụ. Bên cạnh đó, Omni-R2V Dataset cung cấp 340K mẫu huấn luyện cấp công nghiệp được trích xuất từ kho video chuyên nghiệp thông qua các pipeline tự động, giúp cộng đồng nghiên cứu khắc phục bài toán thiếu dữ liệu R2V đa dạng.

OmniVBench bao phủ 7 họ tác vụ và 18 tác vụ chi tiết trải dài trên nội dung, chuyển động, phong cách, cấu trúc, tường thuật và cài đặt đa tham chiếu.

Đánh giá dựa trên nhân tố của benchmark này sử dụng 12.172 mục checklist đặc thù cho từng trường hợp.

Omni-R2V Dataset bao gồm 340K mẫu huấn luyện đã qua xử lý được xây dựng từ nguồn video chuyên nghiệp quy mô lớn.