Claude Opus 5は引用を 98.0% 生成するが、主張を完全に裏付けられるのは 37.1%
この記事のポイント
- 臨床QAで引用の検証性を構築する
- 12モデルを222問で段階的に評価した
- 引用は付与されるが裏付けは不十分
どこで使えるか
臨床QAで正確な引用を組む人向け。モデルの検証性ギャップを把握できる
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Jiashuo Zhangらのチームが、臨床現場の質問に答える人工知能の引用機能について、222の模擬症例で評価した論文を2026年9月15日に公開しました。
臨床現場の質問ですね。人工知能が答えるときにどこから引用しているかを示す機能は最近よく見かけますが、今回の評価でどこに課題があると分かったんですか。
従来のシステムは答えに文献全体へのリンクを貼るだけなので、時間がない医師が一つひとつ確認するのが大変でした。この研究では、答えのそれぞれの主張に対して、原文からそのまま抜き出した短い文章を提示する仕組みがどれだけ実現できているかを、段階ごとに測りました。
原文をそのまま抜き出す、つまりコピペのような形で提示するということですね。では、12のモデルで測った結果、実際にどれくらいの割合でそれが実現できたんですか。
プロンプトだけで対応できるモデルがほとんどで、主張の90%以上に対応する引用文を出力しました。ただしclaude-haiku-4.5のように軽量なモデルは例外でした。ただ、引用文を出力できたとしても、それが主張のすべての細部を裏付けるまで至らないケースが少なくありません。
出力はできても、中身が正確に裏付けられていない場合があるということですね。では、具体例としてどこまで差が開いたんですか。
代表的な結果で言うと、claude-opus-5は主張の98.0%に対応する引用文を出力していますが、完全に裏付けられているのは37.1%にとどまりました。つまり、引用文はほぼ付けられるものの、実際に医師が確認できる水準まで達しているのは37.1%程度です。
37.1%というと、引用を付けているのに実際に使えるのは37.1%ということですね。では、この差を生んでいる原因は、モデルが原文を正しく読んでいないからですか。
正確には、モデルが主張と引用文の対応関係を厳密にチェックする段階がまだ不十分だからです。例えば、主張に「薬剤Aは血圧を下げます」とある場合、引用文に「薬剤Aの投与後、収縮期血圧が平均10ミリ汞柱低下した」という具体的な数値や条件が含まれていないと、完全な裏付けにはなりません。
主張と引用文の間に、具体的な数値や条件のギャップがあるということですね。では、この仕組みを現場のシステムに組み込む場合、開発者はまずどこから手をつけるべきだと考えられますか。
研究チームは、引用文を生成する段階と、その引用文が主張を完全に裏付けるかを判定する段階を別々に評価できる枠組みを公開しています。開発者はこの枠組みを使って、自前のモデルがどの段階でつまずいているかを特定し、対応する部分だけ修正する作業から始めると効率的です。
枠組みを公開しているんですね。最後に、医師が文献を開かずに答えを確認できるようになる見込みはありますか。
現在のモデルは引用文の出力自体は容易でも、裏付けの完全性を担保するのはまだ難しい状況です。例えばclaude-opus-5は主張の98.0%に引用文を付与しますが、完全に裏付けられているのは37.1%に過ぎません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。