Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents

Ce travail présente XConf, une méthode d'estimation de la confiance basée sur l'expérience accumulée, stockant les épisodes passés incluant tâches, réflexions, confiances déclarées et leçons. Face à une nouvelle tâche, le système rappelle des épisodes similaires pour évaluer le taux de succès historique et demande au modèle d'identifier ses échecs récurrents pour réajuster sa confiance. Fonctionnant sans accès aux logits ni mise à jour des poids, XConf surpasse ou égale la cohérence interne à dix échantillons sur 23 des 24 comparaisons, réduit l'erreur de calibration et augmente le taux de succès des agents de 8,7 points en s'abstenant sur les 10 % d'épisodes les moins sûrs.

XConf égale ou surpasse la cohérence interne à dix échantillons en termes de discrimination (AUROC) sur 23 comparaisons sur 24.

S'abstenir sur les 10 % d'épisodes les moins sûrs augmente le taux de succès des agents jusqu'à 8,7 points.