推論の不安定さを数える DTC、LLM の回答の信頼度を測る話

論文

推論の不安定さを数える DTC、LLM の回答の信頼度を測る話

スポンサーリンク

DTCが、推論の途中でモデルが迷ったトークンを数えるだけで信頼度を測れることを示した

この記事のポイント

  • 確率だけでは不十分だった
  • 2モデルの意見が異なるトークンを数えた
  • 白箱で平均誤差13.0%。黒箱でも改善

どこで使えるか

推論の迷いを信頼度で測りたい人向け。学習不要でモデルを選ばない GitHubで公開済み 白黒両方の評価が可能

スポンサーリンク

解説

かみくだいて説明します

Feiyang Liらの研究チームが、人工知能の推論における自信度の測り方を変える枠組みを発表しました。Divergent Token Confidence、通称DTCと呼ぶこの手法は、2つのモデルが同じ推論の途中で答えを大きく外れる単語を数えるだけで、正解率の信頼度を測ります。
2つのモデルが外れる単語を数えるだけなんですね!推論している途中で、どこで迷っているのかを直接見るのですか。
そうです。従来の方法は選ばれた単語の確率だけを見ますが、DTCは別のモデルを補助に使って、次に来る単語の分布のズレをJensen-Shannonダイバージェンスという数式で測ります。
そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
2つの確率のリストがどれくらい違うかを0から1の間の数で表すものです。天気予報の確率と実際の日気がずれた度合いを数値にしたようなもので、ズレが大きいほどモデルが自信を失っていると見なします。
天気予報のずれを数値にするんですね!では、そのズレの数を数えるだけで、どれくらい正確に自信度を測れるようになるんですか。
白箱評価では、外れる単語の数を数えるだけの推定器が平均で13.0%の誤差になりました。従来の確率ベースの手法は32.7%から42.4%の誤差が出ているので、およそ3分の1から4分の1に誤差が縮まります。
誤差が3分の1から4分の1に減るんですか!では、モデルの内部の重みにアクセスできない黒箱の場面でも、同じように精度が上がりますか。
上がります。DeepSeek-V3.2で試した黒箱の評価では、従来の自信度スコアが32.1%から40.2%の誤差だったのを、DTCを使うと13.7%から16.3%に下げられました。補助モデルを使うだけで、学習も生成の過程も変えずに測れます。
学習も生成も変えずに測れるのは、現場の技術者にとって大きな好消息ですね!この手法は、いま実際にAIを組み込んでいるシステムにそのまま組み替えられますか。
コードは公開されていますが、要旨には具体的な組み込み方法の記述はありません。要旨によると、この手法は推論の途中の単語の不一致を数えるだけで、モデルへの学習や生成プロセスへの影響なく、補助モデルを使って評価できます。
補助モデルによって測れる幅が変わるんですか!では、推論の途中で迷う単語が増えるのは、モデルが間違える直前だけですか。
外れる単語の数は、正解率とほぼ負の相関関係にあります。
途中で増える可能性もあるんですね!最後に、このDTCの枠組みは、今後他の分野のモデルにも拡張される見込みがありますか。
複数のモデル群と6つの数学のベンチマークで実験し、確率に基づく手法より確信度の較正が改善したことを確かめました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文