The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks

Cette recherche définit le « taste » d'un agent comme sa capacité à prendre de bonnes décisions à long terme aux bifurcations critiques lors de tâches d'ingénierie et de recherche. Les auteurs créent Taste-Bench, un benchmark qui extrait automatiquement des bifurcations décisionnelles à partir de tentatives parallèles et de détours sans annotation humaine. Les évaluations montrent que le meilleur modèle ne répond correctement qu'à 59,7% des questions, et qu'un budget de raisonnement accru n'améliore pas la précision. En distillant le jugement d'un enseignant vers un modèle étudiant, cette approche améliore la prise de décision sur des tâches inédites et la réussite de bout en bout sur SWE-bench Pro.

Le meilleur modèle ne répond correctement qu'à 59,7% des questions sur Taste-Bench.

Les bifurcations dont les preuves décisives apparaissent plus tard dans la trajectoire sont beaucoup plus difficiles pour tous les modèles.

Un budget de raisonnement plus important n'améliore pas la précision sur Taste-Bench.