報告文で画像の扱いを測るModaLens、医療AIの視覚依存度を評価する話

論文

報告文で画像の扱いを測るModaLens、医療AIの視覚依存度を評価する話

スポンサーリンク

ModaLensが、報告文ありで画像依存度が 4.26% と低いことを示した。

この記事のポイント

  • 報告書が画像の感度を下げる
  • MedGemma-27Bで3,199例を評価
  • 報告書由来のラベルが限界

数字で見る

この記事に出てくる数字

レポートあり回答変更率 4.26%
レポートなし回答変更率 20.94%
ペア増加分 16.7ポイント

どこで使えるか

報告依存で視覚検証が難しいVLMの評価者向け。ペア画像交換で感度低下を確認 GitHubで公開済み プロンプトと実行記録も公開

スポンサーリンク

解説

かみくだいて説明します

Sebastián Andrés Cajas Ordóñezさんらの研究チームが、医学画像とレポートを使う人工知能の仕組みを調べる手法、ModaLensを発表しました。MedGemma-27Bを使ってMIMIC-CXRの293人の患者から選ばれた3,199件のデータを使い、1件あたり14問の質問に対して画像を別の患者のものに書き換えて答えを比較しました。
画像を書き換えるだけで答えが変わるってことですね。では、報告書があるときとないときで、答えが変わる割合はどれくらい違うんですか。
報告書があるときは4.26 percentのケースで答えが変わりましたが、報告書を外したときは20.94 percentに跳ね上がりました。差は16.7 pointsで、患者ごとにグループ分けして計算した95 percent信頼区間は15.6から17.7です。13問が病名特定用、1問が複合質問で測った結果です。
報告書があると画像をあまり見ずに答えを出していることになりますね。では、この手法を作った側から見ると、既存のモデルに組み込むのは難しい話ですか。
手法そのものはコードが公開されていますから、同じ条件で別のモデルに試すことは可能です。ただ、ラベルが報告書から作られているため、画像そのものを正確に見ているかどうかまでは断定できず、あくまで報告書の有無が画像への注目度を下げる傾向を測る尺度として使います。
画像そのものの正しさまでは見れないんですね。では、同じ患者の別の画像に置き換えたとき、答えの数字自体は動くんですか。
はい、答えが〇か×かの判断が変わらなくても、連続した数値のスコアは置き換えの影響を受けて動きます。もとのプロンプトで最初の文字を小文字で読み出す場合も、報告書ありで4.70 percent、なしで17.07 percentの変化が見られています。
判断は同じでも数値がずれるなら、精度の評価が揺らぎそうです。専門用語の「信頼区間」って、ここではどういう意味で使っていますか。
統計的な揺らぎの範囲を示しています。例えばサイコロを振って出目を測るとき、1回だけ振った数値と100回振った平均値では安定度が違いますね。今回の15.6から17.7は、同じ実験を繰り返したときに差がその範囲に収まる確率が高いという意味です。
実験を繰り返す安定度の範囲なんですね。では、この傾向は別のモデルでも確認できているんですか。
はい。MedGemma-27B以外に、同じ系統のモデルを2つ追加で試したところ、報告書があるときに画像への感度が下がる方向性は同じ結果でした。コードと正確なプロンプト、すべての数値の計算記録は公開されています。
最後に、この手法が実務で使われるまでの課題は何ですか。
報告書に依存するラベル付けが視覚的正确性を測れない点と、実際の臨床現場で報告書が常時使えるかという条件がまだ解けていません。そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文