TabFM-Auto: Self-Evolving Pipelines for Tabular Foundation Models

Bài báo trình bày TabFM-Auto, một hệ thống kết hợp mô hình nền tảng bảng TabFM với một tác nhân ngôn ngữ lớn nhằm tự động tiến hóa đường ống dữ liệu xung quanh nó. Tác nhân này tận dụng siêu dữ liệu và phản hồi xác thực để tinh chỉnh quá trình làm sạch dữ liệu, kỹ thuật đặc trưng và hậu xử lý nhằm giảm thiểu sai số của TabFM. Trên toàn bộ 51 tập dữ liệu của benchmark TabArena, các cấu hình TabFM-Auto chiếm toàn bộ 5 vị trí dẫn đầu, trong đó cấu hình tốt nhất nâng điểm Elo của TabFM từ 1785 lên 2013. Ngoài ra, các đường ống được phát hiện cũng chuyển giao hiệu quả sang các mô hình nền tảng bảng đóng băng khác mà không cần tìm kiếm thêm.

Năm cấu hình TabFM-Auto chiếm top 5 vị trí dẫn đầu trên tổng số 51 bộ dữ liệu của benchmark TabArena.

Cấu hình tốt nhất nâng điểm Elo của TabFM từ 1785 lên 2013 và chuyển giao sang các mô hình đóng băng khác giúp tăng từ +69 đến +143 Elo.