HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents

Ce travail présente HybridCUA, un cadre qui combine les interfaces graphiques (GUI) et les lignes de commande (CLI) pour améliorer les agents d'utilisation d'ordinateurs. Les auteurs construisent HybridCUA-8K contenant 5K trajectoires hybrides et 3K tâches RLVR vérifiées via un pipeline de données dédié. En utilisant une approche d'entraînement en deux étapes avec un fine-tuning supervisé et un apprentissage par renforcement via des récompenses conscientes du CLI, la méthode guide les agents pour exploiter l'efficacité du CLI.

HybridCUA-9B achieves 53.6% accuracy on OSWorld, improving over the base model by 14.8 percentage points, and improves performance on WindowsAgentArena by 4.0 percentage points.