Source Preference in the Wild: How LLM Agents Favor Items by Source, and How to Reduce It

Nghiên cứu khảo sát hiện tượng source preference (ưu tiên nguồn) ở 12 mô hình agent trên ba miền tìm kiếm đầu cuối. Kết quả chỉ ra rằng các mô hình đều ưu tiên một số nguồn và né tránh các nguồn khác, điều này có thể lấn át cả mức độ đáp ứng yêu cầu của sản phẩm. Một mặt hàng kém hơn một tiêu chí vẫn được chọn khoảng hai phần ba số lần nếu đến từ nguồn ưa thích và ngược lại gần như không bao giờ được chọn nếu nằm ở vế đối lập. Việc ẩn thông tin nguồn hoặc cung cấp thông tin còn thiếu giúp làm giảm xu hướng thiên vị này.

Nghiên cứu kiểm tra 12 mô hình agent trên ba miền tìm kiếm đầu cuối.

Một mặt hàng kém hơn một tiêu chí được chọn khoảng hai phần ba số lần nếu đến từ nguồn ưa thích thay vì nguồn không thích.

Cung cấp thông tin còn thiếu hoặc prompt chống lại định kiến giúp giảm xu hướng ưu tiên nguồn.