大規模言語モデルの内部確率と言語化された確率の関係を調べる研究

論文

大規模言語モデルの内部確率と言語化された確率の関係を調べる研究

スポンサーリンク

内部確率と言語化された確率は連動している。

この記事のポイント

  • 両確率の一致は不明
  • データ源に介入して調査
  • 一致するが同系統のみ

どこで使えるか

内部確率と言語化された確率の連動性を調べたい人向け。データ源への介入で因果を特定 論文のみ公開、コード・データは記載なし 実験手法の再現には追加実装が必要

スポンサーリンク

解説

かみくだいて説明します

Sinead Williamsonらの研究チームが、arXivに論文を公開しました。人工知能が答えを選ぶときの内部の確率と、言葉で伝える自信の度合いが、実は深く結びついていることを突き止めました。これまで別々に動くと考えられていた2つの指標が、学習データの影響を同じように受けることが実験で確認されています。
内部の確率と言葉で伝える確率が、同じように動くんですか?
はい、まさにそうです。実験では学習データに含まれる統計的な頻度と、確率を明示した文章の両方に働きかけを行いました。すると内部の確率も言葉で出した確率も、どちらも同じ方向に動いたということです。
なるほど。言葉で言った数が、中身の判断とずれないってことですね。
正確には、独立に同じ情報を見ていたとしても、これほど一致する確率は高くないと予想されていました。ところが実際には、予想を上回るほど両者が揃って動いたことになります。
予想を上回るほど揃うのは、どうしてなんでしょう。
研究チームは、言葉で伝える確率が内部の分布を覗く窓になっていると見ています。つまり、外から見える数字を測るだけで、中身の判断基準がどうなっているか推し量れる可能性があります。倉庫の在庫管理システムと店頭の価格札が、全く別の仕組みなのに同じ数字に連動しているような関係です。
なるほど。外から見える情報だけで、中身の評価ができるわけですね。
技術者側から見ると、モデルが自信を持っている部分を正確に把握できるようになります。開発時に内部の確率を直接読み取る仕組みがなくても、出力される言葉の確からしさだけで、モデルの判断が信頼できるか評価できる道が開けるということです。
ここで気になるのは、内部の確率と言葉にした確率がどこまで揃うか、という点ですね。
つまり、このモデルの内部確率と口頭での確率表現が、訓練データの分布や明示的な確率主張にどう影響されるかを系統的に探った結果、両方が影響を受けることがわかったんです。
最後に、この研究の次のステップとして、研究者側が特に注目している点はどこですか。
両者の確率読み取りが、トレーニングデータとコンテキストデータの両方から影響を受けることが分かっています。さらに、これらが独立に同じ不確実性ソースを追跡する以上に整列しているという発見があります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文