脳と似たAttention Headを特定する研究、モデルの推論に与える影響を比較

論文

脳と似たAttention Headを特定する研究、モデルの推論に与える影響を比較

スポンサーリンク

脳と似たAttention Headの削除は、モデルの性能を大幅に低下させなかった

この記事のポイント

  • モデルと脳が同じ計算をするかは不明
  • 17モデルでアテンションヘッドを比較
  • 脳一致は刺激の読み取り方を捉える

数字で見る

この記事に出てくる数字

モデルパラメータ 3B-72B
テストモデル数 17

どこで使えるか

モデルの解釈性を高めたい人向け。脳一致は刺激の読み取り方を捉える 論文の公開は記載なし モデルの範囲は3Bから72B

スポンサーリンク

解説

かみくだいて説明します

Christopher Pinierらの研究チームが、2026 年 9 月 30 日に公開した論文で、人工知能の内部処理と人間の脳の関係を調べました。AAABAAAのようなパターン完成課題でモデルの注意機構と人間の脳波を比較し、各部分を無効にした影響を測った結果、脳に似ているとされる部分は実際の課題解決にそれほど深く関与していないことが分かりました。
脳に似ている部分が実は計算にはあまり関わっていない、ということなんですね。では、課題の解決に直接関わっているのは、具体的にどの部分だと見なされているんですか?
論文ではアトリビューション・パッチングという手法で選別された頭部、そしてファンクション・ベクトルと呼ばれる、正解を予測する貢献が大きいとされる頭部がそれに当たります。ファンクション・ベクトルは、テストの正解率を上げるのに直接効く答え合わせのチェックリストで選んだ部品のようなものです。これらを無効にした場合、脳に類似する頭部を無効にした場合よりも、課題の成功率が大幅に低下しました。
正解に貢献する部品を取っ払うと、成功率がかなり落ちるんですね。では、脳に似た頭部の中には、具体的にどんな働きをするタイプが見つかったんですか?
大きく分けて二つあります。一つはノベルティ・ヘッドと呼ばれ、群衆の中で目立つ色の服を着た人に視線が自然と向く仕組みに似て、新しい要素に注目するタイプです。もう一つはリピティション・ヘッドで、同じリズムで繰り返される音楽のリフレインを処理する部分に似て、繰り返される要素を扱っています。
目立つ情報を見るタイプと、繰り返す部分を見るタイプの二つが、脳に似た動きをしていたんですね。では、この二つの頭部を無効にしたとき、実際にどれくらい課題のパフォーマンスに影響が出るんですか?
ノベルティ・ヘッドを無効にしても、ランダムに頭部を無効にした場合よりも、むしろパフォーマンスが落ちにくい傾向が見られました。リピティション・ヘッドはパフォーマンスにやや貢献していますが、影響は限定的です。17 種類のモデル、3B から 72B の規模で検証した結果、ファンクション・ベクトル順に選んだ頭部を無効にする方が、脳に似た頭部を無効にするよりもはるかに大きなダメージを与えました。
脳に似た頭部を取っ払っても、ランダムに取っ払うよりダメージが少ないという意外な結果でした。では、この結果はモデルを作る技術者にとって、実際の開発のやり方を変える話になりますか。
モデルの頭部をアトリビューション・パッチングで選んだ場合、脳にアラインされた頭部を除去するより実際の開発で大きな影響が出ます。開発者がこの結果をどう捉えるべきか、興味深いですね。
脳に似た動きをする部分と、実際に計算を担う部分は別物として扱った方がいい、ということですね。では、この論文で使われたパターン完成の課題は、実際の人工知能のどの能力を測るものだと考えられているんですか。
論文では抽象的な規則の推論や、情報の選択的処理に近い能力を測るものとしています。脳が刺激を読み取る仕組みをモデルは確かに反映していますが、規則を表現して課題を解く仕組みまでは、脳との類似性だけでは十分には捉えられていないということです。
最後に、この研究の次のステップとして、研究者たちはどのような検証を進めているんですか。
要旨には自然言語の処理や今後の予定の記述がないため、脳との類似性と計算への関与が必ずしも一致しないという研究結果を報告しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文