LLM の推論過程を調べる手法、ベイズ推論との関係が分かる話

論文

LLM の推論過程を調べる手法、ベイズ推論との関係が分かる話

スポンサーリンク

LLMが推論過程でベイズ推論に似た表現を形成していることが分かった

この記事のポイント

  • HMMデータでLLMの信念状態を調べる
  • 残差ストリームから0.83-0.99で線形分離
  • パッチングで予測品質をモデル並みに維持

数字で見る

この記事に出てくる数字

HMM数 40
R²値 0.83-0.99
モデル数 6

どこで使えるか

推論過程の内部表現を解明したい研究者向け。HMMデータで6モデルの信念状態を解析 論文の材料に公開先は記載なし HMMデータとLLMの組み合わせで評価

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Daniel Balcellsらの研究チームが、2026年9月16日にarXivに論文を発表しました。6つのオープンソースモデルと40の確率モデルを使って調べたところ、モデル内部で確率の分布を幾何学的な形で保持していることが分かります。
確率の分布を形で持つ、というのは確かに興味深い表現ですね。
雨という単語が2回出た後の次の言葉を傘と予測する確率を、モデルが頭の中で図のように積み上げていくイメージです。残差流という内部の活性化値から、その図を読み取るプローブを作ると、相関係数の二乗が0.83から0.99に達しました。初期の層から最後の層まで、層によって値が変動しながら読み取れます。
読み取れることが分かった上で、実際に中身を操作したんですね。
はい。読み取れた部分だけを別の値に書き換えるパッチングと、方向を細工するステアリングを行いました。操作したモデルの予測精度は、何もいじらない元のモデルと同等の水準を維持しました。対照群である無作為に選んだ部分を書き換えた場合は、精度が大きく下がります。
6つのモデルで40の確率モデルを使ったテスト結果ですね。研究している人から見ると、これまでにできなかった何がクリアになったんですか。
従来は小さなモデルで隠れマルコフモデルを明示的に学習させた場合に限って、似たような幾何構造が見えていました。今回はそれを、学習時に隠れマルコフモデルを教えたことのない、本番規模のオープンソースモデルでも確認した点です。文脈から生成モデルを推測して、ベイズの最適予測に近似しているという表現が、活性化のレベルで裏付けられました。
なるほど。では、実際にモデルを組み込む技術者にとって、この結果はすぐ現場で使える話ですか。
現時点ではまだ先の話です。論文では読み取り可能な部分の特定と、精度を維持した操作の成功までを示しましたが、その部分を日常的な推論タスクにどう組み替えるかは、そこはまだ分かっていません。
最後の層でも読み取れると聞きましたが、専門用語の残差流がまだ掴めません。もう少し違う例えで説明していただけませんか。
分かりにくい説明でしたか。では別の言い方をします。残差流とは、モデルが情報を処理するたびに蓄積されていくメモ帳のようなものです。前の行で書いた情報を消さず、次の行で上書きせずに足し算していく場所です。そのメモ帳のどこに、確率の図が書き込まれているかを、今回は数学的に特定できました。
操作の方向を細工するだけで、精度が同程度保たれるのは意外です。
読み取りと方向の細工だけを確認しました。消した場合に精度がどう変わるかは、そこはまだ分かっていません。今後の研究で、操作の範囲を広げた場合の影響が分かるかもしれません。
最後に、この論文が示した仕組みを応用する方向で、次に何が分かってくる見込みですか。
要旨では、入力分布の構造と活性化幾何学の関連が、HMMデータで明示的に訓練されたtoyネットワークから本格的なLLMまで拡張されたとされています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文