JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

Nghiên cứu đánh giá khả năng của một decision-only judge (JEV) nhằm cung cấp một lớp lọc chi phí thấp trước khi cần đến các phương pháp đánh giá mạnh hơn. Qua so sánh với 16 generative và reward-model judge cùng đánh giá thủ công mù, JEV đạt độ chính xác chỉ thấp hơn 3 điểm phần trăm so với LLM judge tiên tiến nhất đối với các tác vụ đánh giá thông thường và tính xác thực dựa trên bằng chứng, với chi phí chỉ bằng 0.36% so với đối thủ. Các khoảng cách lớn hơn xuất hiện khi cần kiểm tra suy luận hoặc chống lại câu trả lời sai được viết tinh vi. Một hệ thống thác (cascade) đóng băng chấp nhận các phán quyết tự tin và chuyển giao các trường hợp không chắc chắn giúp giữ lại 99% độ chính xác của judge mạnh với chi phí thấp hơn.

JEV is within three percentage points of a state-of-the-art LLM judge on ordinary preference and evidence-grounded factuality at 0.36% of the comparator's fee.

A frozen cascade that accepts confident verdicts and escalates uncertain ones retains 99% of the comparator's accuracy at lower cost.