Can Agents Design Libraries for Agents?

Bài báo giới thiệu LibraryDesignBench, một benchmark gồm 2 pha và 242 bài toán lập trình được xác thực bởi chuyên gia nhằm đánh giá cách agent thiết kế thư viện từ các đặc tả kỹ thuật. Kết quả cho thấy các agent thiết kế có thể tái tạo thành công cấu trúc trừu tượng của thư viện do con người viết trong 11 trên 15 tác vụ. Tuy nhiên, các agent sử dụng phía sau thường ít tận dụng triệt để và viết thêm mã thừa chủ yếu vì thư viện do agent thiết kế quá cứng nhắc hoặc khó dùng. Nghiên cứu cũng chứng minh việc cung cấp hướng dẫn định hướng agent và sử dụng subagent để kiểm thử giúp cải thiện đáng kể điểm số downstream và tạo ra các chương trình đơn giản hơn.

Benchmark chứa 242 bài toán lập trình được chuyên gia xác thực trên 15 tác vụ thiết kế thư viện bằng 4 ngôn ngữ.

Agent thiết kế tái tạo thành công các cấu trúc trừu tượng của thư viện do con người viết trong 11 trên 15 tác vụ.