推論の信頼性を下げる3つの問題を統合するCalibrated Abstention、評価基準の改革案

論文

推論の信頼性を下げる3つの問題を統合するCalibrated Abstention、評価基準の改革案

スポンサーリンク

Calibrated Abstentionが、推論信頼性の3問題に共通する解として特定された。

この記事のポイント

  • 推論RLが信頼性表現を崩す
  • 拒否に報酬ゼロで学習しない
  • ベンチマーク改革は必要だが不十分

どこで使えるか

推論結果に自信がない場面で、正解しない方が望ましい人向け。評価基準の改善だけでは不十分 arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Srijith Ravikumar 氏が発表した論文で、大規模言語モデルの信頼性を巡る3つの異なる研究が、実は同じ解決策に収束していることが示されました。
3つの研究が同じ方向を向いているんですか。
1つ目は推論学習がツールの信頼性を壊す現象、2つ目は安全制約のもとでモデルが回答を書き換えるか切り捨てるかする違い、3つ目は『分かりません』という機能が欠けると無限に誤答を繰り返すという理論です。
つまり『分からない』と言えないのが根本的な問題ですね。研究の現場では、これまでどこが解けていなかったんですか。
それぞれの欠落には能力の差やポリシーの差、理論的な差という別の原因がありますが、結論は『適切な判断保留』です。ただこの機能を学習させる信号が、現在のランキング評価にはありません。回答を拒否した際に報酬がゼロになるため、モデルがその機能を学ぶ誘因が働かないのです。
判断保留、つまり『わからない』ってことですね。ただ、モデルが勝手に判断して拒否したら、逆に重要な情報を逃しませんか。
確かにその懸念はあります。論文が言う保留は、確信が持てない場合にだけ回答を差し控える仕組みです。例えば計算問題で自信が持てないときだけ『答えを出せません』と返すようなイメージです。
なるほど。では、評価が変わったあと、作る側は手元で動かすのに何が要りますか。
論文では評価方法の4つの変更を提案しています。拒否を別枠で採点する三層スコアリング、拒否率の公開、能力ごとの評価、そして補正指標の必須化です。これだけでは定理が示す穴を完全に塞げませんが、必要な第一歩だと述べています。
拒否率を公開して、能力ごとに測るわけですね。どのくらいの精度で測れるようになるんですか。
そこはまだ分かっていません。現在のランキング基準からどう変わるかは、各ベンチマーク側の対応次第です。
最後に、実用化のタイムラインはいつ頃を見ているんですか。
評価基準の変更は必要ですが、それだけでは不十分です。バウンティス氏が特定したギャップを閉じるためには、ベンチマーク改革が不可欠です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文