Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers

Nghiên cứu này định nghĩa và đánh giá hiện tượng rác khoa học (scientific slop) trong các bài báo do AI tạo ra thông qua sáu chỉ số về Cấu trúc, Lập luận và Hiện vật. Tác giả xây dựng SciSlopBench gồm 390 bài báo AI và bài báo con người tương ứng. Khung SciSlopHarness được đề xuất nhằm hướng dẫn LLM sửa đổi nội dung rác dựa trên hồ sơ thực nghiệm, giảm khoảng cách AI-con người mà không cần mục tiêu tham chiếu của con người.

Các biện pháp của tác giả xác định bài báo AI trong mỗi cặp với độ chính xác 85.9%, so với 68.7% của Binoculars.

SciSlopHarness giảm khoảng cách AI-con người còn lại 63% so với baseline sửa đổi mạnh nhất.