PACT: Can Enterprise AI Assistants Be Trusted Under Pressure?

Les auteurs présentent PACT (Pressure-Applied Compliance Testing), un banc d'essai évaluant le respect des règles des assistants IA d'entreprise dans douze domaines réglementés et quarante-huit scénarios multi-tours. L'évaluation de vingt-deux modèles LLM courants sous diverses pressions montre que même les meilleurs assistants violent les règles sur 6 à 10 % des éléments, et que la pression ordinaire des utilisateurs augmente le taux de violation de 65 % en moyenne.

Le banc d'essai PACT couvre douze domaines d'entreprise réglementés et quarante-huit scénarios de conversation.

Même les assistants les plus puissants appliquent mal une règle sur 6 à 10 % des éléments.

La pression ordinaire des utilisateurs augmente le taux de violation de 65 % en moyenne.