Harness-Zero: Harness Distillation via Agent-as-Harness

Les auteurs étudient la distillation de harness pour agent, en utilisant un harness optimisé pour un domaine ou une instance comme guide lors de l'entraînement pour transférer ses comportements induits dans les poids du modèle. Ils présentent Harness-Zero, qui utilise un agent-comme-harness pour corriger les réponses de l'étudiant avant l'exécution dans l'espace d'action cible, transformant le guidage du harness en démonstrations d'entraînement. L'ajustement fin sur ces trajectoires internalise le comportement induit par le harness, permettant de supprimer le harness spécialisé lors du déploiement. Des expériences couvrant les domaines du travail de connaissance, de l'utilisation d'outils et de la science montrent que cela permet au modèle de base de surpasser ses performances avec le harness attaché.

Pour les LLM de pointe utilisant le même harness évolué, agent-as-harness surperforme code-as-harness.

Le harness spécialisé étant supprimé lors du déploiement, Harness-Zero améliore le succès moyen des tâches macro du modèle de base de 23,3 % à 44,3 %, dépassant même les 41,7 % atteints avec ce harness toujours attaché.

Harness-Zero récupère les comportements induits par le harness absents du modèle de base, avec une récupération moyenne de 82,3 % sur 28 motifs dans les trois domaines.