FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching

Nghiên cứu trình bày FlowTool, một khung công tác định hình lại tác vụ chỉnh sửa ảnh dựa trên công cụ thành một bài toán khớp dòng chảy (flow matching). Thay vì sử dụng mô hình ngôn ngữ lớn đa phương thức tự hồi quy để sinh ra tuần tự các tham số, FlowTool kết hợp backbone thị giác-ngôn ngữ với một Diffusion Transformer để trực tiếp biến đổi nhiễu Gauss thành kế hoạch chỉnh sửa tối ưu. Khung này sử dụng chương trình huấn luyện flow-matching có giám sát hai giai đoạn kết hợp hậu huấn luyện dựa trên phần thưởng. Kết quả cho thấy FlowTool vượt trội hơn các tác nhân MLLM chuyên biệt về mặt hiệu năng tham chiếu, đồng thời giảm độ trễ ít nhất 50 lần và yêu cầu bộ nhớ ít hơn gần 2 lần so với các baseline.

FlowTool định hình việc chỉnh sửa ảnh bằng công cụ thành bài toán khớp dòng chảy điều kiện mà không cần suy luận tự hồi quy.

Phương pháp này cải thiện đáng kể hiệu suất suy luận, giảm độ trễ ít nhất 50times.

FlowTool yêu cầu bộ nhớ ít hơn gần 2times so với các baseline được so sánh.