Prediction-Powered Smoothing and Validation for Disaggregated AI Evaluation

L'article aborde l'évaluation désagrégée de l'IA en traitant les ensembles d'évaluation comme des populations finies pour obtenir des estimations précises par domaine sans tests exhaustifs. Les auteurs proposent le lissage alimenté par prédiction (PP-S), un modèle bayésien ajusté à l'estimation de chaque domaine, ainsi qu'une extension (PP-TS) qui mutualise les informations à travers une taxonomie. Pour la validation, ils dérivent un nouveau score de validation croisée basé sur la conception pour choisir parmi les estimateurs. Évalués sur des benchmarks et du trafic d'agents déployés, ces estimateurs améliorent l'estimation ponctuelle et par intervalle avec une couverture quasi nominale.

Les estimateurs proposés améliorent les estimateurs directs en matière d'estimation ponctuelle et par intervalle, avec une couverture quasi nominale.

Dérive un nouveau score de validation croisée basé sur la conception, approximativement sans biais, pour choisir entre des estimateurs directs et lissés.

À budget d'échantillonnage égal, le score proposé sélectionne aussi bien qu'un échantillon de validation indépendant et estime l'erreur de l'estimateur sélectionné avec beaucoup plus de précision.