HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents

Công trình này giới thiệu HybridCUA, một framework tích hợp linh hoạt giữa giao diện đồ họa (GUI) và dòng lệnh (CLI) để tối ưu hóa tác vụ máy tính cho AI agents. Các tác giả xây dựng tập dữ liệu HybridCUA-8K gồm 5K quỹ đạo lai và 3K tác vụ RLVR đã được kiểm chứng. Bằng cách áp dụng phương pháp fine-tuning có giám sát kết hợp reinforcement learning dựa trên phần thưởng nhận thức CLI, mô hình cải thiện đáng kể độ chính xác trên các benchmark chuẩn.

HybridCUA-9B achieves 53.6% accuracy on OSWorld, improving over the base model by 14.8 percentage points, and improves performance on WindowsAgentArena by 4.0 percentage points.