LLM の抽出失敗を分解し、信頼度で優先順位を決める話

論文

LLM の抽出失敗を分解し、信頼度で優先順位を決める話

スポンサーリンク

LLMの抽出失敗の 65.6% は背景情報で、信頼度は優先順位を決めるが真実を保証しない

この記事のポイント

  • 抽出結果の信頼性と自信信号の関係が不明
  • 2モデルを354キャンペーンで評価
  • 自信度は順位に使えるが反実仮説では脆弱

数字で見る

この記事に出てくる数字

マイクロ精度 0.03-0.34
ECE 0.53-0.94
バックグラウンド 65.6%

どこで使えるか

抽出結果の信頼性を優先順位付けに使う人向け。自信度は順位に使えるが反実仮説では脆弱 論文の分析対象。コード公開は記載なし DeepSeek-V4-Flash等3モデルの評価結果

スポンサーリンク

解説

かみくだいて説明します

Jiahong Qian さんが arXiv に発表した論文で、DeepSeek-V4-Flash や GLM-5.3-Flash、そして GPT-6.1-Sol といった最新の言語モデルが、サイバー攻撃の報告書から情報を引き出す精度を調べた結果、すべてのモデルで精度が 0.03 から 0.34 ととどまり、最高クラスのモデルでも改善しなかったことが報告されました。
精度が 0.03 から 0.34 というのは、かなり低い数値ですね。この調査では具体的にどのようなモデルを比べて、どれくらいのデータを使ったんですか。
315 件のユニークな報告書を使い、モデルと報告書の組み合わせで 630 回評価を行いました。精度が低い理由を調べたところ、資料に書かれていない情報をモデルが書き足してしまう幻覚が主な原因ではなく、全体の 65.6% が関連のない背景情報、19.9% が本来含むべき情報が抜け落ちているケースでした。
幻覚が 1.2% だけだと。では、研究者として気になるのですが、この背景情報の混入を減らす手法はすでに開発されているんですか。
本研究ではその点には触れていません。代わりにモデルが自ら出す自信の度合い、つまり自信に着目し、信頼できる出力を選別する手法を評価しました。その結果、自信度順に並べるだけで上位30%の精度が上がるケースがテスト分割の全6セルで確認されました。
自信度で並べ替えるだけで精度が上がるんですね。ただ、その自信度という指標は、モデルが実際に見ている根拠と一致しているんですか。
残念ながら一致しているとは限りません。一文だけ書き換えたテストでは、モデルが自信を持って出した判断が 95.6% から 100% の確率で覆されました。関連しないと明記された一文でも、偽の脆弱性情報を最大 26.7% のケースで結びつけてしまう現象も確認されています。
関連しないと書かれた一文でも偽の情報を結びつけるなんて。では、この自信度の選別を実際に組み込む技術者から見ると、現場で使える代わりになるんですか。
結論として、自信度による選別は確認作業の優先順位を決める用途には使えますが、真実を保証するものではないと締めくくられています。技術者が実装する場合は、最終的な判断を人間の目で行う枠組みを前提にする必要があります。
優先順位を決めるツールとして使うのが現実的だと。最後に、この選別手法が実用段階に入るまでの見通しは、どうなっていますか。
論文では実用化の日程や次のステップについては言及していません。そこはまだ分かっていませんが、自信度の指標が信頼できないという前提を踏まえれば、実装時には必ず人間の検証プロセスを挟む設計が求められることになります。
あわせて、今月に出た別の研究も、LLMの出力信頼性を評価するためのconfidence信号の分析という同じやり方を使っています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文