信頼度で次の発言者を決める gpt-oss、推論結果の信頼性を改善する話

論文

信頼度で次の発言者を決める gpt-oss、推論結果の信頼性を改善する話

スポンサーリンク

gpt-oss-120bは自信度79%で正解率は52%。確率補正でECEは0.278から0.008に改善。

この記事のポイント

  • 自信スコアで経路選択と不確実性を混同していた
  • 4181件の数学トレースで3要素を分離して計測
  • 経路選定はモデル依存。ただし補正で較正は改善

数字で見る

この記事に出てくる数字

自信度vs精度 79% vs 52%

どこで使えるか

自信で経路と不確実性を混同する設計を見直す人向け。分離計測で課題を特定できる arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

複数のAIが協力して問題を解く際、自信度が高い方が発言する仕組みって、最近よく見かけますよね?
確かに、マルチエージェントの標準的な設計ですね。各モデルが数値で自信を報告し、最高得点のモデルが次のターンを担う構成です。
でも、私が見る限りその数値一つで経路選択と不確実性の推定を同時にやろうとして、何か問題が起きていませんか?
確かに、そのスカラー値で経路選択と不確実性の推定を同時にやろうとしているのが問題です。
arXivに公開された今回の監査研究では、この信頼度ルーティングを三つの独立した指標で分解して検証しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
経路選択、確率補正、発言のコミットメントを別々に計測する仕組みです。各モデルの出力履歴をトレースレベルで追跡し、どの候補が正解を選んだか、報告値が確率らしく振る舞っているか、実際に口にした答えが勝利候補と一致しているかを厳密に分離します。
三つを独立させて計測するんですか! 確かに、混ざると見えない欠陥が見えるようになりますよね!
では、実際の計測結果で、どれくらい数値に差が出たんですか?
実際の計測結果で、どれくらい数値に差が出たんですか?
gpt-oss-120bの数学オリンピアードデータ4,181件では、正解候補の判別力AUROCが0.72を示しましたが、平均報告自信度は79%に対し正解率は52%と大幅な過信が確認されました。補正後ECEは0.278から0.008に改善しますが、GemmaモデルではAUROCが0.537と0.440まで低下し、経路選択の差は最大11.2ポイントも開きました。
Gemmaの補正後の判別力は経路選択で5.6ポイントと11.2ポイントの差があります。
補正は確率の歪みを是正するだけで、本来の判別能力は回復しません。経路選択の性能差はモデルとベンチマークに強く依存します。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
仰る通りです。生データの信頼度をデプロイ判断に直結させる設計には、根本的な限界があります。
現場で実際に試す時は、どう組み立てるのが現実的なんですか?
経路選択、確率補正、発言のコミットメントを別々に計測するプロシージャを構築し、その上でルーティング判断を行うのが現実的な導入手順です。
4181件のガリウム数学トレースと2×2のアクター対ベンチマークグリッドで監査を行いました。
研究上の教訓は、生confidenceを使う前に別々に測るべきというものです。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文