A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review
Ce travail définit la robustesse rhétorique comme la stabilité des relecteurs IA face à des réécritures préservant le contenu et leur capacité à discriminer les articles. Les auteurs présentent RobustReview, un benchmark comprenant 1 260 versions de manuscrits évaluées sur 30 configurations de relecteurs, révélant des vulnérabilités aux variations rhétoriques. Pour y remédier, ils proposent SciCore, un relecteur à double branche combinant l'évaluation du manuscrit complet et une évaluation basée sur un noyau scientifique structuré extrait. Dans les comparaisons avec GPT-5.5, SciCore obtient un profil combiné de stabilité et de discrimination de premier plan tout en maintenant un alignement humain compétitif.
RobustReview contient 1 260 versions de manuscrits évaluant 30 configurations de relecteurs distinctes.
SciCore obtient un profil conjoint de stabilité et de discrimination de premier plan dans les comparaisons principales avec GPT-5.5.