HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents

Để đánh giá năng lực của các agent duyệt web trong việc tổng hợp thông tin phức tạp trên không gian mạng, các tác giả giới thiệu HyperBrowseComp, một benchmark gồm 423 câu hỏi đa ngôn ngữ và đa phương thức trên 13 ngôn ngữ do người bản xứ biên soạn. Các câu hỏi đòi hỏi phải tìm kiếm bằng chứng mơ hồ, chuỗi manh mối nhiều bước hoặc kiểm tra các nguồn không đồng nhất như video, tài liệu quét, hình ảnh và bản đồ. Các câu hỏi dễ đã được lọc bỏ thông qua việc đánh giá bằng các mô hình không có internet nhằm giảm thiểu khả năng trả lời chỉ bằng kiến thức tham số. Họ đánh giá nhiều mô hình sử dụng công cụ tìm kiếm riêng của nhà cung cấp và một harness truy xuất bên ngoài chung theo một giao thức chuẩn.

HyperBrowseComp comprises 423 manually authored and human-validated questions across 13 languages.