LLM が自信を報告する話 3つの手法で正解予測を測って比較

論文

LLM が自信を報告する話 3つの手法で正解予測を測って比較

スポンサーリンク

LLMの自信報告は、正解予測の精度が手法で大きく異なり、使い物にならない場合がある

この記事のポイント

  • 直接言明が最も強い
  • 3サンプ一致は弱い
  • 再elicitationで0.043~0.084変動

どこで使えるか

自信の数値を判断材料にしたい人向け。発言ごとや回答の一致度で精度が異なります。

スポンサーリンク

解説

かみくだいて説明します

Lukas Meyerらの研究チームが、人工知能が自分で答えた内容に付ける自信の数値が正しいか分析した論文を、2026年9月18日に発表しました。二つのモデルで、TriviaQAという質問から選んだ100問について、口頭で伝える自信、計算で出す自信、三回再生成して一致を見る方法の三つを比較しています。
自分で出す自信の数値が、実は当てにならない可能性があるんですか。作る側からすると、この三つの方法のうちどれを基準にすれば、組み込みが楽になりますか。
意外にも、モデルが文章と一緒に口頭で伝える自信が、正解予測の指標で0.956と0.937と強い値を出しています。三回再生成して一致を見る方法は0.765と0.790と大幅に下回り、口頭の数値と組み合わせても統計的に意味のある向上は見られませんでした。
口頭で出す方がずっと正確なんですね。だとすると、同じ質問を三回繰り返す自己一致という手法は、現場ではもう使わない方がいいということですか。
必ずしも廃止というわけではありませんが、一つのモデルで誤答九つに四つ、もう一つのモデルで誤答八つに二つは共有された誤解を拡大させています。クラスメート三人が同じ間違いをしたら、その間違いを正解と信じ込んでしまうようなものです。同じ答えを改めて聞くと、数値は平均で0.043から0.084変わって、0.8の基準で4%から9%の判断が反転します。
0.8の基準で判断が反転するとありますが、その0.8という数字はどういう意味ですか。
0.8というのは、自信が0.8以上あれば正解とみなすという線引きです。テストで80点以上を合格とするのと同じ考え方です。
何度聞いても数値がブレるなら、判断の基準にできないかもしれません。研究している人から見ると、どこがまだ解けていないんですか。
有用な自己報告は、聞き出し方の変化に敏感で、誤りが連動しやすく、ベンチマークのノイズにも影響を受けることが示されています。100件の伝記の記述を調べたところ、支持される記述と反証される記述の間で、自信の差はそれほど大きくありませんでした。
伝記の記述でも自信の差が小さいなら、モデルが事実と誤りを区別できていないことになりますね。では、次にこの数値を改善する方向性はあるんですか。
有用な自己報告は、引き出し方への感受性、相関する誤り、ベンチマークのノイズに敏感です。自信の報告が単なる調整された修辞に過ぎないかどうかは、まだ不明です。
最後に、実務でこの手法を使う場合の注意点は何ですか。
組み込む際は、口頭の自信数値を基準にしても判断が反転する割合があるため、0.8の線引きをそのまま信用せず、誤答が共有されるリスクも視野に入れて検証を進める必要があります。今後の見通しについては、まだ明確な結論が出ていない段階です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文