Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI

L'article étudie l'IA pour l'IA au moment du test, en examinant comment un modèle Builder peut construire des environnements d'exécution efficaces pour un modèle Target tout en maintenant les poids fixes. Pour rendre l'expérience réutilisable, les auteurs introduisent la Meta-Skill : des principes déterminant quand un soutien est nécessaire et quelles ressources fournir. Le Builder extrait ces principes à partir des retours d'exécution sur un ensemble de développement et applique la banque de compétences figée à des tâches invisibles. Sur Harness-Bench et NewtonBench, les méta-compétences de la banque complète améliorent les performances macro-moyennes de 8.95 points de pourcentage par rapport à une construction sans compétence et de 12.02 points par rapport à la livraison directe de la banque au Target.

Les méta-compétences de la banque complète améliorent les performances macro-moyennes de 8.95 points de pourcentage par rapport à une construction sans compétence.

Elles améliorent les performances de 12.02 points par rapport à la livraison directe de la même banque au Target.