FDA承認の肺塞栓検出AI Aidoc、17施設での実世界性能評価

論文

FDA承認の肺塞栓検出AI Aidoc、17施設での実世界性能評価

スポンサーリンク

Aidocの肺塞栓AI、17施設での実測で感度がFDA基準を下回り、末梢や非急性で低下。

この記事のポイント

  • FDA承認AIのリアルな性能は不明
  • 17施設で2つのAIを後方評価
  • 感度は基準未満、ただし特異度は超える

数字で見る

この記事に出てくる数字

PE感度 86.8%
iPE感度 73.5%
LLM精度 97%

どこで使えるか

末梢や非急性の肺塞栓を見逃しにくい環境向け。感度低下の実態を17施設で把握できる コードの公開は記載なし FDA認可モデルの性能評価のみ

スポンサーリンク

解説

かみくだいて説明します

Aawez Mansuriらの研究チームが、2026年9月30日に発表した論文で、肺塞栓症を検出する市販のAI診断支援ソフトの実際の精度を、17の医療施設で調べました。FDAの認可基準を満たす2つのアルゴリズムを、30,678件の専用CTと37,191件の通常のCTで評価した結果、発見する確率は認可時の基準を下回り、見逃さない確率は上回りました。
認可時の基準を下回ったというのは、実際に導入している病院側にとって気になる点ですね。開発側の技術者から見ると、この精度の差は何が原因で出ているんですか。
発見の確率が下がるのは、血栓の位置や新旧によって差が出ているためです。血管の中心に詰まった太い血栓は99.3%見つかりますが、末梢の細い血栓になると72.9%まで落ちます。新しくて急性の血栓は89.7%ですが、古くなって石灰化が進んだ血栓は65.3%です。人間がレントゲン画像を見たときと同じように、AIも小さくて輪郭が分かりにくいものほど見落としやすくなっています。
人間と同じように見落としやすくなるんですね。では、通常のCTで偶然見つかるタイプの血栓を検出するAIの方は、どれくらいの精度だったんですか。
iPEモデルは発見する確率73.5%、見逃さない確率99.8%でした。研究チームは、末梢や陳旧性の塞栓で成績が下がる傾向が人間の読影者にも共通する限界と一致しているとして、認可後の精度を継続的に追跡する仕組みが必要だと指摘しています。
認可後の精度追跡が不可欠というのは、作る側としても受け入れざるを得ない話ですね。論文では、基準ラベルを作るのにLLMの処理を使ったとありましたが、そこは正確に測れているんですか。
放射線科の報告書から基準ラベルを抽出する際に、LLMの処理を使った結果、正確さは97%、kappa は 0.94でした。専門用語で言えばkappa係数ですが、これは2人の判定者がどれだけ一致しているかを測る指標です。複数の医師が同じ画像を見て、ほぼ同じ診断を下す時の一致率と考えると分かりやすいです。
複数の医師の診断が揃う時の一致率と考えると確かにしっくりきますね。では、医療画像の解析にAIを組み込んでいる現場から見ると、この結果は導入時の評価だけで終わらず、継続的な確認が必要だという意味なんですか。
そうです。認可当時のテスト環境と、実際の17施設で使われている環境は条件が異なります。画像の撮影条件や患者の体型、疾患の分布が違うため、導入後も定期的に精度を確認する必要があります。そこはまだ完全に定着しているとは言い難く、標準化された追跡体制の構築が今後の課題です。
標準化された追跡体制の構築が今後の課題ですね。では、医療AIの評価業務に携わっている現場から見ると、認可後の精度追跡をどう運用すれば、開発側の負担増にならないんですか。
研究チームは、認可後の精度追跡を業界横断で統一する基準を設けることが次の段階だと述べています。自動追跡の基準を業界横断で統一することが次の段階なんですね。最後に、このAI診断支援ソフトの今後のアップデートや、精度向上の見通しについては何か分かっていますか。
自動追跡の基準を業界横断で統一することが次の段階なんですね。最後に、このAI診断支援ソフトの今後のアップデートや、精度向上の見通しについては何か分かっていますか。
アップデートの内容や具体的な改善スケジュールについては、そこはまだ分かっていません。研究チームが求めているのは、認可後のデータを体系的に集めて、性能の推移を可視化する枠組みです。この論文が示す通り、実際の現場での精度は環境によって変動するため、継続的な監視体制が整うまで、精度の数字は施設ごとに異なる可能性があります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文