When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents

Nghiên cứu này nghiên cứu hiện tượng trôi ý định (intent drift) - một lỗi trong tương tác đa lượt khi các phần thông tin cũ bị thay thế nhưng vẫn tiếp tục ảnh hưởng đến câu trả lời cuối cùng hoặc hành động công cụ của LLM agent. Tác giả giới thiệu IntentFlux, một benchmark thực thi chuyển đổi các tác vụ thành hội thoại có thay đổi ý định được kiểm soát, cho thấy điểm số tác vụ giảm rõ rệt khi đối thoại chứa nhiều thông tin bị thu hồi. Họ tiếp tục đề xuất StateForge, một cơ chế duy trì rõ ràng các yêu cầu đang hoạt động trước khi sinh văn bản, giúp cải thiện điểm số tác vụ trung bình trên General-Test từ 0.367 lên 0.467, chứng minh rằng quản lý trạng thái tường minh là một giải pháp giảm thiểu hiệu quả nhưng chưa triệt để.

In a 627-case calibration, mean task score falls from 0.476 to 0.384 as dialogues contain more superseded and withdrawn information.

On General-Test, StateForge improves mean task score from 0.367 to 0.467.