ModaLens: Measuring Image Sensitivity in Report-Conditioned Medical VLMs

Bài báo giới thiệu ModaLens, một phương pháp kiểm toán hoán đổi ảnh đôi (paired image-swap audit) nhằm đánh giá sự thay đổi độ nhạy của hình ảnh khi có mặt báo cáo y tế. Nghiên cứu thực hiện trên MedGemma-27B với 3.199 trường hợp MIMIC-CXR từ 293 bệnh nhân, trong đó mỗi ảnh được thay thế bằng ảnh từ một nghiên cứu khác của cùng bệnh nhân. Dưới hướng dẫn trả lời rõ ràng, câu trả lời của mô hình thay đổi trong 4.26 phần trăm các thử nghiệm khi có báo cáo và 20.94 phần trăm khi không có báo cáo, tạo ra mức tăng chênh lệch là 16.7 điểm. Điều này chứng minh sự hiện diện của báo cáo y tế làm giảm đáng kể mức độ nhạy cảm với hình ảnh đầu vào của mô hình.

Đánh giá trên 3.199 trường hợp MIMIC-CXR ghép đôi từ 293 bệnh nhân sử dụng MedGemma-27B.

Dưới chỉ dẫn tường minh, câu trả lời thay đổi ở 4.26 phần trăm trường hợp khi có báo cáo so với 20.94 phần trăm khi không có, tăng 16.7 điểm.

Prompt gốc với chữ thường ở token đầu tiên cho tỷ lệ 4.70 phần trăm so với 17.07 phần trăm.