APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport
La recherche présente APort Vault, un benchmark pour l'évaluation de l'autorisation de paiement chez les agents IA utilisant des outils en rejouant 4 371 attaques rédigées par des humains lors d'un événement capture-le-drapeau à travers 14 modèles provenant de 8 laboratoires. Il teste cinq configurations de politiques avec et sans vérification préalable déterministe implémentant la spécification Open Agent Passport (OAP), cumulant 225 964 évaluations. Les résultats révèlent que la couche de sécurité OAP réduit drastiquement les requêtes de transferts non autorisés, passant de 140 sur 76 842 pour le modèle seul à 0 sur 69 297 derrière la couche de protection.
Un total de 225 964 évaluations ont été réalisées sur 14 modèles issus de 8 laboratoires.
Aux niveaux 2 à 4, les transferts vers des destinataires non autorisés par le passeport s'élèvent à 140 sur 76 842 avec le modèle seul et à 0 sur 69 297 derrière la couche.
La politique a refusé 187 des 25 640 appels de transfert évalués, dont 148 pour un destinataire interdit.