MILO: Automated Harness Discovery via Orchestrated Multi-Agent Evolution

Họ giới thiệu MILO (Meta-evolutionary Island Orchestration), một framework đồng tiến hóa các agent harness và chiến lược khám phá harness. MILO kết hợp bộ nhớ dòng dõi phân cấp trên cây dựa trên đảo, các mutator agent cho mỗi đảo viết lại toàn bộ harness dựa trên lịch sử tìm kiếm và phản hồi, cùng một bộ điều phối thích ứng tìm kiếm thông qua ghép nối dòng dõi và phân loại. Trên Terminal-Bench 2.1, PaperBench và DeepSWE, các harness do MILO phát hiện vượt qua 8 harness hiện đại và 6 phương pháp tìm kiếm. Với Opus 4.8, MILO cải thiện độ chính xác so với harness ban đầu lần lượt là +12.0%, +28.3% và +10.3%. Trên Terminal-Bench 2.1, hệ thống đạt 86.1 pm 2.0% trong khi sử dụng ít hơn 26% token so với harness ban đầu.

Với Opus 4.8, MILO cải thiện độ phân giải so với harness ban đầu lần lượt là +12.0%, +28.3% và +10.3% trên Terminal-Bench 2.1, PaperBench và DeepSWE.

Trên Terminal-Bench 2.1, hệ thống đạt 86.1 pm 2.0%, vượt qua mục tiêu hàng đầu của bảng xếp hạng chính là 83.8 pm 2.3%.

Sử dụng ít hơn 26% token so với harness ban đầu khi đạt hiệu suất trên Terminal-Bench 2.1.