RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents

L'article étudie les agents hybrides d'utilisation d'ordinateurs (CUAs) qui combinent l'exploration d'interfaces, l'implémentation logicielle et la vérification visuelle. Les auteurs présentent RecreationWorld, un cadre à cinq plateformes (Ubuntu, macOS, Windows, Android, Web) offrant des environnements de loisir reproductibles avec des récompenses d'exécution. Ils introduisent également RecreationBench, comprenant 250 tâches d'évaluation diverses avec des assertions programmatiques et visuelles. L'évaluation montre que GPT-6 Astra atteint 58,1% au total, mais ne réussit tous les tests programmatiques que sur 2,8% des tâches, soulignant les limites actuelles.

RecreationWorld fournit des environnements reproductibles sur Ubuntu, macOS, Windows, Android et Web avec des récompenses d'exécution.

RecreationBench comprend 250 tâches diverses avec des assertions programmatiques et visuelles validées par des examinateurs humains.

GPT-6 Astra est en tête avec 58,1% au total mais réussit tous les tests programmatiques sur seulement 2,8% des tâches.