HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents

Pour évaluer les agents de navigation web sur la recherche d'informations persistantes, les auteurs introduisent HyperBrowseComp, un benchmark multilingue et multimodal comprenant 423 questions rédigées et validées par l'humain dans 13 langues. Les questions exigent de localiser des preuves obscures, de suivre des chaînes d'indices ou d'inspecter des sources hétérogènes telles que des vidéos ou des documents scannés. Les questions plus faciles sont filtrées à l'aide de modèles sans accès Internet. Le benchmark fournit un banc d'essai exigeant évalué via des recherches natives et des harnais de récupération externes partagés.

HyperBrowseComp comprises 423 manually authored and human-validated questions across 13 languages.