Prediction-Powered Smoothing and Validation for Disaggregated AI Evaluation

Nghiên cứu đề xuất một quy trình tích hợp cho việc ước tính và xác thực trong đánh giá hệ thống AI phân tán bằng cách xử lý tập đánh giá như một quần thể hữu hạn. Các tác giả phát triển phương pháp Prediction-Powered Smoothing (PP-S) và phiên bản mở rộng PP-TS dựa trên mô hình Bayes để cải thiện các ước lượng điểm và khoảng cho từng miền nhiệm vụ. Nghiên cứu cũng dẫn xuất một điểm số kiểm định chéo dựa trên thiết kế mới nhằm lựa chọn tối ưu giữa các ước lượng trực tiếp và đã làm mượt, mang lại hiệu quả vượt trội so với việc lấy mẫu xác thực độc lập thông thường.

Đề xuất phương pháp Prediction-Powered Smoothing (PP-S) và PP-TS nhằm cải thiện độ chính xác ước lượng điểm và khoảng cho từng miền nhiệm vụ.

Thiết lập một điểm số kiểm định chéo mới, không chệch hướng dựa trên thiết kế để lựa chọn công cụ ước lượng tối ưu.

Cải thiện độ chính xác của việc ước tính sai số so với các mẫu kiểm định độc lập truyền thống tại cùng một ngân sách lấy mẫu.