BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence

Nghiên cứu giới thiệu BI-Bench để đánh giá khả năng xử lý các tác vụ business intelligence (BI) của LLM và phát hiện các mô hình hàng đầu có độ chính xác dưới 50%. Để giải quyết vấn đề này, các tác giả xây dựng BI-Agent, một tác nhân được tăng cường công cụ nhằm chia nhỏ quy trình BI thành các nhiệm vụ cấu trúc như tìm kiếm, kết hợp và biến đổi dữ liệu. Họ cũng phát triển một khung hậu huấn luyện sử dụng Supervised Fine-Tuning (SFT) và Reinforcement Learning (RL) dựa trên dữ liệu tổng hợp từ các dự án thực tế. BI-Agent giúp cải thiện độ chính xác tới 40 điểm phần trăm đối với các LLM thông thường và đạt thêm tới 30 điểm khi áp dụng hậu huấn luyện.

BI-Agent achieves substantial accuracy gains of up to 40 percentage points with vanilla LLMs, and post-trained BI-Agent yields gains of up to 30 points.