EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation

Nghiên cứu giới thiệu EdgeGen, một framework sinh tác vụ tổng hợp nhằm trích xuất quy luật tuân thủ từ đặc tả của agent để tạo ra các trường hợp biên được căn cứ vào cơ sở dữ liệu nhằm vi phạm các quy tắc đó. Phương pháp này kết hợp với các kỹ thuật sinh dữ liệu tổng hợp để tạo thành một hệ thống vòng lặp kín hoàn toàn tự động, không cần sự can thiệp của con người. Kết quả thực nghiệm fine-tuning trên dữ liệu của EdgeGen mang lại sự cải thiện tiến độ trung bình từ 2 phần trăm đến 42 phần trăm trên miền hàng không của tau2bench. Đối với việc tối ưu hóa harness, phương pháp này cho thấy mức cải thiện tiến độ trung bình lần lượt là 10 phần trăm và 30 phần trăm so với harness cơ bản và harness do con người biên soạn cho mô hình Gemma-4-e4b.

Fine-tuning trên dữ liệu EdgeGen mang lại mức cải thiện tiến độ trung bình từ 2 phần trăm đến 42 phần trăm trên miền hàng không tau2bench.

Tối ưu hóa harness bằng EdgeGen đạt mức cải thiện tiến độ trung bình 10 phần trăm và 30 phần trăm so với harness do con người tuyển chọn và harness cơ sở trên mô hình Gemma-4-e4b.