Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents

Công trình này giới thiệu XConf, một phương pháp ước tính độ tin cậy dựa trên kinh nghiệm quá khứ (experiential confidence), giúp cải thiện khả năng đánh giá độ chính xác của mô hình ngôn ngữ mà không cần truy cập logit hay cập nhật trọng số. XConf lưu trữ các tập nhật ký gồm nhiệm vụ trước đây, sự suy ngẫm, độ tin cậy đã nêu, kết quả và bài học rút ra. Khi gặp nhiệm vụ mới, hệ thống truy xuất các tập tương tự để tra cứu tỷ lệ thành công lịch sử, sau đó cho mô hình phản hồi lại để điều chỉnh độ tin cậy. Kết quả thực nghiệm trên các benchmark cho thấy XConf đánh bại hoặc tương đương với phương pháp self-consistency mười mẫu trên 23 trong tổng số 24 so sánh, giảm lỗi hiệu chuẩn và cải thiện tỷ lệ thành công của agent khi loại bỏ 10% các trường hợp ít tự tin nhất.

XConf đánh bại hoặc tương đương với mười mẫu self-consistency về khả năng phân biệt (AUROC) trên 23 trong tổng số 24 so sánh.

Việc từ chối 10% các trường hợp ít tự tin nhất giúp nâng tỷ lệ thành công của agent lên tới 8,7 điểm.