AutoDataBench: A Data-centric Testbed for Accelerating Auto Research

Bài báo giới thiệu AutoDataBench, một môi trường kiểm thử có kiểm soát nhằm đánh giá Trí tuệ Dữ liệu của các AI agent. Khung này tập trung vào chẩn đoán, tổ chức và xây dựng dữ liệu thông qua ba nhiệm vụ tối ưu hóa được tuyển chọn kỹ lưỡng trong khi giữ nguyên các yếu tố phi dữ liệu. Công cụ này kiểm tra khả năng cải thiện dữ liệu huấn luyện của các LLM thông qua thử nghiệm lặp đi lặp lại dưới các ngân sách tài nguyên cụ thể, đồng thời cung cấp các quỹ đạo giúp cải thiện hiệu suất lập trình trong quá trình huấn luyện trung gian.