中医学の臨床判断でLLMが医師を上回るも、処方に幻覚があり医師の監視が必要
この記事のポイント
- 60症例を医師60名と16模型で評価
- 医学的助言や治療原則で模型が上位
- 処方選択や用量に相違と誤出力あり
数字で見る
この記事に出てくる数字
| 病院数 | 62 |
|---|---|
| 症例数 | 349 |
| 評価モデル数 | 16 |
どこで使えるか
中医学の臨床判断を支援したい人向け。医師の監視下で安全性を確認する 論文の公表のみ。コード公開なし 臨床評価用データセットは非公開
スポンサーリンク
解説
かみくだいて説明します
Jiacheng Xie さんを筆頭とする研究者チームが、中国の病院から集めた349件の外来診療記録を基に、16種類の大型言語モデルと60人の臨床医を比較する評価を行いました。モデルの出力は匿名化され、専門家の5人が9つの項目で採点しました。
実際の診察データでモデルと医師を比べたんですね。モデルが勝ったのは、どんな部分ですか。
医療アドバイスや治療方針、それに診断のいくつかの項目で、モデルの方が専門家の採点が高くなりました。ただ、漢方薬の処方という細かい部分を見ると、生薬の選び方や量、治療の組み立て方に違いが出ました。安全性の観点から調べたところ、モデルが根拠のない情報を混ぜたり、定型文をそのまま出力したりするケースも確認されています。
処方まで見ると違いが出るんですか。現場で使う技術者から見ると、これはまだ先の話ですか。
意思決定の補助として使う分には十分期待できる結果ですが、医師のチェックを外す段階にはまだ達していません。安全性の制約を設け、実際に患者さんを対象にした前向きな臨床評価を待つ必要があると結論付けています。
定型文をそのまま出力する問題が起きたんですね。根拠のない情報を混ぜる理由について、もう少し詳しく聞けますか。
専門用語で言えばテンプレート依存の出力ですが、要するにモデルがパターンに当てはめて薬を並べている状態です。患者さんの状態に合わせた柔軟な判断がまだ不十分で、安全に使うには医師が最終判断を担う仕組みが不可欠だと指摘しています。
患者さんに合わせた判断が不十分だと。では、349件の症例から60件を選ぶ基準はどうなったんですか。
349件の症例の中から、臨床的に代表的な60件を選び出しました。モデルの出力と医師の報告は匿名化し、中国の伝統医学の専門家5人が、診断と治療の9つの項目で採点を行いました。
5人の専門家で採点したんですね。モデルと医師の得点の差は、どのくらいだったんですか。
具体的な数値の開きは明記されていません。ただ、医療アドバイスや治療方針、それに一部の診断タスクではモデルが医師を上回り、処方の詳細な部分では両者に差が見られたと報告しています。
詳しい数値は出ないんですか。最後に、この結果を受けて研究している人は、次にどこを重点的に調べることになりますか。
安全性の制約をどう設けるか、そして実際の臨床現場で前向きに評価を行うかが次の課題です。モデルが補助ツールとして定着するまでの道筋は、まだ見えていない部分が多いと言えます。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。