Stiefel Attention、12 回の対比実験で平均 8.98 ポイント向上。ステップ幅に依存しないのが理由。
この記事のポイント
- 射影行列をStiefel多様体に制約
- 12回対比で平均8.98pp向上
- 効果はステップスケールフリーに由来
数字で見る
この記事に出てくる数字
| 精度向上 | +8.98pp |
|---|
どこで使えるか
射影行列の幾何制約を自前で実装し、ステップ幅依存を解消したい人向け。 arXivで公開済み float64での数値検証あり
スポンサーリンク
解説
かみくだいて説明します
Rubén Darío Guerrero さんが発表した論文で、Transformer の注意機構が使う行列を、幾何学という制約を設けた上で最適化する方法が報告されました。一つのデータセットで正解率がおよそ 36 ポイント上がり、別のデータセットでは 12 回の試行中 12 回すべてで向上しています。
幾何学という制約、つまり形を決め打ちするんですか。
そうです。行列が特定の曲面の上だけ動くように制限して、その曲面に沿った形で勾配を計算します。普通の計算だと行列が自由に動きすぎて形が崩れるのを防ぐイメージです。
曲面の上を動く optimizer だと、計算の速度はどうなるんですか。
1 ステップあたりの移動量は、通常の AdamW の行列に比べて 24 倍から 40 倍小さくなります。そのため初期値からほとんど動かず、あえて動かさない場合との差は 0.28 ポイントしかありません。
動かさないのと変わらないなら、なぜこの方法を使うんですか。
重み減衰という学習中の処理が、この制約がある行列には影響を与えないからです。通常の行列では重み減衰が形を歪めますが、制約のある行列では歪みの力がゼロになるため、学習中の幾何学が守られます。
歪みの力がゼロ、というのがまだ掴めません。もう少しやさしく言うとどうなりますか。
学習を進める際に毎回掛かる重み減衰という調整が、この制約がある行列には一切効かないということです。普通の行列では毎回少しずつ形が変わりますが、この行列は毎回元の形に戻ります。
データ量を増やしても差が縮まらない、それは計算が楽になるってことですか。
計算が楽になるわけではありません。12 組の対比実験で 8.98 ポイントの向上を確認し、t 値は 60.6 でした。データ量を増やしても差が縮まらないことを確認しています。
では、実務でこの制約を組む際に何が要りますか。
曲面に沿った更新式と、極分解による射影処理が必要です。ただし実験では、この幾何学自体よりも、ステップの大きさを勾配に依存させない設計が利益のすべてを担っていました。
仕組み自体は明確、でもその先の安定性は確認できていない、それはまだ解けていない部分なんですか。
仕組み自体は明確、でもその先の安定性は確認できていない、それはまだ解けていない部分なんですか。
最後に、次の段階として何が解けていないんですか。
計算コストを下げずに実装できるか、そしてデータが極端に少ない場合でも差が維持されるかは、まだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。