LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models

Bài báo giới thiệu LexReward, một khung thưởng dựa trên phân loại dành cho việc mô hình hóa phần thưởng pháp lý. Khung này đánh giá chất lượng phản hồi qua ba chiều: Phong cách (Style), Yếu tố (Element), và Chuỗi suy luận (Chain). Các tác giả phát triển các tiêu chuẩn đánh giá cho từng chiều để tạo dữ liệu ưu tiên theo cặp cho DPO và huấn luyện mô hình phần thưởng. Thực nghiệm cho thấy LexRM cải thiện hiệu suất chính sách thông qua học tăng cường mà không cần câu trả lời mẫu.