CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering

Les auteurs présentent CUA-SWE, un benchmark, un environnement et un pipeline d'évaluation pour l'ingénierie logicielle avec utilisation de l'ordinateur. CUA-SWE comble le manque d'études sur les processus de développement intégrés où les agents doivent relier des observations visuelles d'interfaces graphiques au code responsable, puis utiliser l'application pour vérifier les corrections. S'étendant sur quatre domaines du logiciel, le benchmark exige des agents qu'ils modifient du code et des configurations, exécutent des commandes, interagissent avec des logiciels en cours d'exécution et inspectent les retours visuels au sein de la même tâche. Chaque tâche inclut des tests déterministes vérifiant la conformité du logiciel.

CUA-SWE fournit un banc d'essai unifié couvrant quatre domaines de l'ingénierie logicielle.

Le benchmark intègre des critères d'exactitude exécutables pour le logiciel résultant.