ModaLens: Measuring Image Sensitivity in Report-Conditioned Medical VLMs

L'étude présente ModaLens, un audit d'échange d'images par paires mesurant comment la disponibilité d'un rapport radiologique modifie la sensibilité à l'image dans les modèles vision-langage médicaux. Testant MedGemma-27B sur 3 199 cas MIMIC-CXR appariés de 293 patients, les images ont été échangées tout en maintenant le rapport constant. Sous des instructions de réponse explicites, la réponse générée change dans 4,26 % des essais avec le rapport et 20,94 % sans, soit une augmentation appariée de 16,7 points démontrant que le rapport réduit la sensibilité aux images.

Évaluation de MedGemma-27B sur 3 199 cas MIMIC-CXR appariés provenant de 293 patients avec 14 questions par cas.

Sous instruction explicite, la réponse générée change dans 4,26 pour cent des essais avec le rapport et 20,94 pour cent sans, soit une hausse de 16,7 points.

Le prompt d'origine avec une lecture du premier jeton en minuscules donne 4,70 pour cent contre 17,07 pour cent.