Transformer の覚えるから理解するへの変化がどこで起きるか調べた研究

論文

Transformer の覚えるから理解するへの変化がどこで起きるか調べた研究

スポンサーリンク

Grokkingはモジュール切替ではなく周波数再符号化で起きる

この記事のポイント

  • Transformerの暗記から一般化への遷移場所を特定
  • 遷移ゲームでブロック0の注意バイアスとMLPの役割を計測
  • 12/12ペアでMLPが支配的、モジュール切替説は否定

数字で見る

この記事に出てくる数字

モード寄与率 67--92%

どこで使えるか

Transformerの内部動作を解明したい人向け。遷移ゲームで因果経路を特定。 arXivで公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Dekun Yang さんが arXiv に公開した論文で、AI のモデルがデータを丸暗記する状態から未知のデータにも対応する一般化の状態に切り替わる grokking の仕組みについて、モデルのどの部分で起きているかを調べました。Transition Games という手法で 12/12 のペアを試し、block-1 の MLP が他の経路よりも多くの効果を仲介していることを確認しています。
丸暗記から一般化への切り替えが、モデルの特定の層で起きるということですね。では、作る側から見ると、この block-1 の MLP が主役だという結果は、いま現場で使われているモデルの作り替えが必要になる話ですか、それとも既存のままで良いという話ですか。
既存のままで良いという話です。論文では、MLP が丸暗記を担当し attention が一般化を担当するという従来の予想が逆転していることが示されています。block-0 の attention に将来の情報を先読みさせるような偏りが生じ、degree-two modes という成分がその差分の 67--92% を占めています。従来の予想が逆転した証拠として、-.331 bits/example という数値と、予想 direction 通りになったケースが 0/12 だったことも示されています。
従来の予想が逆転して、attention の方が先に情報を先読みしているんですね。そこがまだ掴めませんが、degree-two modes という成分をもう少しやさしく言うと、日常で例えるとどうなるんですか。
音楽の音階で例えると分かりやすいです。複雑なデータを、低い周波数の基本音と高い周波数の倍音に分けて考える作業です。grokking が起きる前はデータがばらばらの音で鳴っていますが、切り替わると基本音と倍音がきれいに整列して、初めて新しい曲にも対応できるようになります。
周波数を整列させて新しいデータに対応できるようにする、つまりスペクトル再符号化が grokking の正体だという結論ですね。研究している人から見ると、これまでに何ができていなかったんですか。
従来の研究では、モデルの特定のモジュール、つまり MLP か attention かどちらかが交代で役割を持つと考える module switch の枠組みで説明を試みていました。しかし今回の 12/12 のテストでは、どちらか一方が交代で主役になるのではなく、既存の分散した回路全体が周波数成分を再調整することで遷移が起きていることが明らかになりました。
交代で役割が変わるのではなく、回路全体が周波数を再調整する形で遷移するんですね。では、作る側にとって、この再調整を意図的に促す手法はすでに公開されていますか。
そこはまだ分かっていません。論文では Transition Games という解析手法の紹介と、12/12 のペアでの検証結果が中心で、実装コードや訓練手法の公開については触れていません。
解析手法の紹介と検証結果が中心で、実装は公開されていないということですね。最後に、この研究が次のモデル開発にどう影響するか、作る側はどのような準備をすれば良いですか。
モデルの内部構造に関する検証結果と解析手法の発見から、既存の分散回路がスペクトル再符号化される仕組みを理解することが重要です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文