BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence

L'étude présente BI-Bench pour évaluer les capacités des LLM sur la veille stratégique (BI) de bout en bout, constatant que les modèles de pointe obtiennent de piètres résultats avec moins de 50 % de précision. Pour y remédier, les auteurs conçoivent BI-Agent, un agent augmenté par des outils qui décompose les flux de travail BI en sous-tâches structurées telles que la recherche, la jointure et la transformation. Ils développent également un cadre de post-entraînement exploitant le Supervised Fine-Tuning (SFT) et l'apprentissage par renforcement (RL) sur des trajectoires synthétisées à partir de projets réels. BI-Agent réalise des gains de précision allant jusqu'à 40 points de pourcentage avec des LLM de base, et les versions post-entraînées rapportent des gains allant jusqu'à 30 points.

BI-Agent achieves substantial accuracy gains of up to 40 percentage points with vanilla LLMs, and post-trained BI-Agent yields gains of up to 30 points.