AutoDataBench: A Data-centric Testbed for Accelerating Auto Research

L'article présente AutoDataBench, un banc d'essai contrôlé pour évaluer l'intelligence des données des agents IA. Le cadre se concentre sur le diagnostic, l'organisation et la construction des données à travers trois tâches d'optimisation tout en maintenant les facteurs non liés aux données constants. Il teste la capacité des LLM de pointe à améliorer les données d'entraînement par une experimentation itérative sous des budgets de ressources spécifiques.