自己注意の反発が作る相転移とカオス、スパースなAttentionの持続的動的話

論文

自己注意の反発が作る相転移とカオス、スパースなAttentionの持続的動的話

スポンサーリンク

自己注意の反発が、有限Nでのカオスや凝縮、バタフライ・コーンを示す相転移を引き起こすことを示した。

この記事のポイント

  • d=2の円周上でγを増やすと多角形が安定を失う
  • N→∞でβ有限なら注意は拡散。β~N²で凝縮
  • d=N→∞でβ=O(1)に凝縮転移。γで相が分かれる

数字で見る

この記事に出てくる数字

値マップ V=-I
スケール則 β~N²

どこで使えるか

自己注意の動的相転移をシミュレーションで確認したく、有限Nの挙動に耐えられる人向け。 arXivで公開済み シミュレーション結果中心

スポンサーリンク

解説

かみくだいて説明します

Transformerのアテンションって、常に特定のトークンに集中しすぎてしまいませんか?
確かにその傾向はありますが、現状のアテンションは情報を固定化しやすく、動的な変化に対応しにくい状態です。
固定化されると、処理が硬直して柔軟な推論ができなくなるんですよね?
その通りです。本研究は、スパースな注意機構がダイナミクスを凍結させるのではなく、持続的な動的状態を維持できることを示しています。
arXivで公開された本研究は、値マップを負の単位行列に設定した最小限の再帰型Transformerを検討しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
類似度に基づくAttentionが近くの表現を選び出す一方、負の値マップが選ばれた領域からトークンを押し返します。このフィードバックが幾何配置とネットワークを絶えず再編成する仕組みです。
反発力が動的に構造を変化させるなんて、確かに面白い発想ですよね!
シミュレーション結果から具体的な改善数値が示されています。
性能面での具体的な改善数値はどのくらいになるんですか?
ソフトマックス鋭さパラメータをNの2乗スケールで調整した際、高次元領域ではO(1)の臨界点で凝縮転移が観測されます。
従来の拡散状態と比べた明確な違いは何ですか?
有限の重なりギャップが動的に生成されることで、従来の拡散状態とは異なる明確な局所化が実現します。
でも、特定の数学的モデルに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。このモデルは正規化されたトークンと負の値写像を用いた最小限の再帰型トランスフォーマーを想定しています。
実際の試し方はどうすればいいんですか?
公開論文とarXivのプレプリントを参照し、小さな再帰型ネットワークで負の値マップを設定したAttentionを実装して試してみてください。
検証範囲は限定的ですが、疎Attentionが動的な永続状態を維持できる道筋を示した点は大きいです。
分散型幾何学的クラスターリングという新たな集団現象が確認されました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文