RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling

Bài báo đề xuất RewardVerse, một framework đánh giá video dựa trên bảng tiêu chí (rubric) nhằm khắc phục hiện tượng trôi điểm số (scalar drift) khi ánh xạ chất lượng video phức tạp thành một điểm số vô hướng duy nhất. Framework này tạo ra các tiêu chí đánh giá rõ ràng trước khi cho điểm, đóng vai trò là điểm neo ngữ nghĩa ổn định. Họ giới thiệu Rubric-Guided Policy Optimization (RGPO), thuật toán huấn luyện gồm hai giai đoạn: khởi động bộ chấm điểm và tối ưu hóa bộ sinh tiêu chí đồng thời căn chỉnh với đánh giá của con người. Các thí nghiệm trên benchmark EvalVerse 16 chiều chứng minh rằng phương pháp này cải thiện hiệu suất đánh giá cả về điểm đơn và cặp đôi.

RewardVerse sử dụng bảng tiêu chí động làm trung gian để giảm thiểu hiện tượng dịch chuyển điểm số.