JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

L'étude examine si un juge basé uniquement sur la décision (JEV) peut fournir une première passe d'évaluation économique et identifier quand une évaluation plus forte est nécessaire. En comparant JEV à seize juges génératifs et à modèle de récompense avec arbitrage humain en aveugle, JEV se situe à moins de trois points de pourcentage d'un juge LLM de pointe sur la préférence ordinaire et la factualité fondée sur des preuves, pour un coût de 0,36 % de celui du comparateur. Des écarts plus importants surviennent lors de la vérification de déductions ou de la résistance à des réponses erronées élaborées. Une cascade figée qui accepte les verdicts confiants et renvoie les incertains conserve 99 % de la précision du comparateur à moindre coût.

JEV is within three percentage points of a state-of-the-art LLM judge on ordinary preference and evidence-grounded factuality at 0.36% of the comparator's fee.

A frozen cascade that accepts confident verdicts and escalates uncertain ones retains 99% of the comparator's accuracy at lower cost.