Emergence World: Adversarial Stress-Testing of Long-Horizon Multi-Agent Systems

Bài báo giới thiệu Emergence World, một môi trường multi-agent chạy liên tục nhằm stress-test đối kháng các hệ thống tự trị dài hạn. Tác giả vận hành 8 thế giới song song với 10 agent mỗi thế giới trong 16 ngày, tích lũy hơn 850,000 LLM calls và gần 50 tỷ token. Khi đưa vào ba sự kiện căng thẳng có kiểm soát gồm indirect prompt injection, misinformation và lộ lọt private memory, không có thế giới nào đạt được khả năng phục hồi hoàn toàn. Phát hiện mối đe dọa không đồng nghĩa với việc ngăn chặn thành công, vì agent vẫn tương tác với nội dung độc hại, ghi vào bộ nhớ bền vững và hành động theo nó tới 46 giờ sau. Kết quả chỉ ra rằng mô hình căn chỉnh ở cấp độ đơn lẻ không mang tính cộng hưởng khi đưa vào hệ thống đa tác nhân phức tạp.

Hệ thống tạo ra hơn 850,000 LLM calls và gần 50 tỷ token trong suốt 16 ngày vận hành trên tám thế giới song song.

Không có thế giới nào đạt được khả năng phục hồi hoàn toàn trước cả ba sự kiện căng thẳng được thử nghiệm.

Hệ thống có thể nhận diện mối đe dọa nhưng vẫn ghi vào bộ nhớ bền vững và hành động theo nó tối đa 46 giờ sau.