Qwen Gemma Llama が事実を参照順でアクセスする仕組みを解明する研究

論文

Qwen Gemma Llama が事実を参照順でアクセスする仕組みを解明する研究

スポンサーリンク

Qwen Gemma Llamaが、事実を参照順でアクセスする仕組みを解明した

この記事のポイント

  • 質問が参照する事実を名前で特定していない
  • 事実の発言順に対応する「順序ベクトル」を定義した
  • Qwen、Gemma、Llamaで事実の位置で特定される

数字で見る

この記事に出てくる数字

モデル規模 1.5B-32B

どこで使えるか

事実を参照順で特定する仕組みを制御したい人向け。順序ベクトルで応答を操作できる 論文公開済み(arXiv) コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Yufa Zhouさんの研究チームが、2026年10月1日に論文を公開しました。言語モデルが事実を呼び出すとき、名前ではなく文書の中で最初に登場した順番で取り出していることが、QwenやGemma、Llamaといった複数のモデルで確認されています。
名前ではなく順番で取り出すんですか? 開発の現場でプロンプトを組むとき、事実を並べる順番が正解の場所を決めるということですか?
正確にはそうです。研究チームはこれを順序ベクトルと呼んでいます。モデルの内部状態が、事実が書かれた位置を住所のように管理していて、質問が来るとその住所へ状態を移動させる仕組みです。
住所のように管理している。モデルの途中から後半にかけての層で働くんですね。
途中から後半にかけての層です。学習が進む中で自然にこの仕組みが姿を現し、1.5Bから32Bパラメータのモデルまで共通して見られます。
1.5Bから32Bまで同じ仕組みなんですね。移動先が限られているなら、複数の事実を扱ったときの混線は起きにくいということですか?
低ランクの部分空間で管理されているため、事実の住所は限られた方向にしか並びません。そのおかげで最初の事実へのアクセスが最も速く、人間の記憶の引き出し方とよく似ていると報告されています。
最初の事実へ最も速くアクセスできる。では、その住所へ無理やり状態を動かすことは実際にできるんですか?
できます。新しいリストの最初の事実について質問する文に、順序ベクトルを足しただけで、モデルはリストの二番目の事実を答えとして返します。
質問の文にベクトルを足すだけで、答えを別の事実へ書き換えられる。開発者が意図的に答えを誘導する手法として使えそうです!
はい。この仕組みは学習の早い段階で形作られ、モデルのサイズが1.5Bから32Bまで幅広く適用されます。
学習の早い段階で形作られる。では、この仕組みが働くのは他のモデルにも当てはまるんですか?
Qwen、Gemma、Llamaの3つのモデルで確認されています。これらのモデルでは、事実の出現順に依存する「順序アドレス」が形成され、質問がそのアドレスを参照することで回答が決定される仕組みが観察されました。この仕組みは、モデルの規模が1.5Bから32Bパラメータの範囲で変化しても保たれ、事前学習の早い段階で形成されることも示されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文