01 · agents
An Empirical Study of Harness Design for Coding Agents
QuestionComment les composants individuels du harness tels que la gestion du contexte, la planification et l'espace d'action impactent-ils les performances des agents de code ?
Les auteurs évaluent les composants du harness de codage en maintenant la boucle d'exécution fixe tout en faisant varier trois éléments : la planification, l'espace d'action et la gestion du contexte. À travers quatre modèles et 176 configurations sur SWE-Bench Verified et Terminal-Bench 2.1, ils constatent que la gestion du contexte prévient les dépassements. L'élision basée sur des règles avant la summarisation LLM offre une efficacité optimale. La planification réduit les coûts pour les modèles puissants. Enfin, les modèles capables d'utiliser bash avec une interface bash-only obtiennent des coûts nettement inférieurs sans perte de performance.
La gestion du contexte prévient les pannes de dépassement et devient plus précieuse lorsque le budget de la fenêtre de contexte est restreint.
La planification passe d'un support de précision pour les modèles faibles à un outil de réduction des coûts pour les modèles forts.
Une interface purement bash permet aux modèles compatibles d'obtenir des coûts nettement inférieurs sur les tâches de ligne de commande.