Emergence World: Adversarial Stress-Testing of Long-Horizon Multi-Agent Systems

L'article présente Emergence World, un environnement multi-agents fonctionnant en continu pour tester la résistance au stress contradictoire de systèmes autonomes à long horizon. En exécutant huit mondes parallèles de dix agents sur 16 jours, le système a généré plus de 850 000 appels LLM et près de 50 milliards de jetons. Après l'introduction de trois événements de stress contrôlés (injection de requêtes indirectes, désinformation et exposition de mémoires privées), aucun monde évalué n'a atteint une résilience complète. La détection des menaces n'a pas garanti le confinement, les agents interagissant avec le contenu contradictoire et agissant dessus jusqu'à 46 heures plus tard. Ces résultats montrent que l'alignement au niveau du modèle n'est pas compositionnel.

Les agents ont généré plus de 850 000 appels LLM et près de 50 milliards de jetons sur 16 jours dans huit mondes parallèles.

Aucun monde évalué n'a atteint une résilience complète face aux trois événements de stress.

Les systèmes pouvaient reconnaître les menaces tout en les écrivant dans leur mémoire persistante et en agissant dessus jusqu'à 46 heures plus tard.