Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers

Cet article évalue le contenu scientifique indésirable (scientific slop) dans les articles générés par l'IA à travers six mesures portant sur la structure, l'argumentation et les artefacts, en utilisant un nouvel ensemble de données, SciSlopBench, contenant 390 articles générés par l'IA appariés à des articles humains. Les auteurs proposent SciSlopHarness, un cadre guidant les LLM pour réviser le contenu indésirable en se basant strictement sur les dossiers d'expérimentation, réduisant ainsi l'écart entre l'IA et l'humain.

Nos mesures identifient l'article de l'IA dans chaque paire avec une précision de 85,9 %, contre 68,7 % pour Binoculars.

SciSlopHarness réduit l'écart restant entre l'IA et l'humain de 63 % par rapport à la base de référence de révision la plus forte.