Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents

Les auteurs proposent EvoSkill-GUI, un cadre sans entraînement qui permet aux agents GUI de mettre à jour et d'affiner dynamiquement leurs compétences procédurales grâce à une boucle reflect-revise-reuse lors du déploiement. Chaque compétence est structurée en un package multi-fichier contenant des métadonnées de récupération, des plans d'exécution et des règles de récupération d'erreur. Un exécuteur effectue des révisions instantanées pendant l'exécution tandis qu'un critique isolé diagnostique les échecs. Des expériences sur les benchmarks MobileWorld, AndroidWorld et OSWorld démontrent des améliorations de performance constantes par rapport aux modèles de base sans aucun entraînement supplémentaire.

EvoSkill-GUI atteint des gains maximaux de +16.2%, +6.0% et +10.5% sur les benchmarks MobileWorld, AndroidWorld et OSWorld respectivement.

Le cadre fonctionne entièrement sans entraînement en s'appuyant sur l'édition directe de fichiers de compétences via une interface d'outil restreinte.

Les bibliothèques de compétences évoluées continuent de bénéficier aux tâches connexes plutôt que d'exiger une reconstruction à partir de zéro.