When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation

Bài báo nghiên cứu vòng lặp phản hồi đệ quy trong đánh giá khoa học bằng AI, nơi các mô hình reviewer tương lai được huấn luyện trên các đánh giá do mô hình trước tạo ra. Bắt đầu từ Llama 3.1 8B, tác giả finetune các reviewer dựa trên đánh giá ICLR và huấn luyện các mô hình kế nhiệm với tỷ lệ đánh giá tổng hợp và chính thức khác nhau. Nghiên cứu chỉ ra rằng việc đưa các synthetic review vào làm nén phân phối điểm và giảm đa dạng ngữ nghĩa, hiện tượng được gọi là scientific-judgment collapse. Để giảm thiểu rủi ro này, nhóm giới thiệu TrustReviewer, một hệ thống mã nguồn mở can thiệp ở cả giai đoạn huấn luyện (đào tạo trên một corpus được tuyển chọn) và giai đoạn kiểm thử (sử dụng paired activation steering).