Stiefel-AdamWが、LoRAやAttentionの行列分解ブロックで安定した学習を可能にした
この記事のポイント
- 非線形を挟まない行列積の学習が不安定
- 片方を球面上に制約する最適化器を導入
- GPT2等で改善。ただし実装は最小限
数字で見る
この記事に出てくる数字
| Mistral規模 | 7B |
|---|
どこで使えるか
LoRAやAttentionの行列分解ブロックで安定した学習を組む人向け arXivで公開済み GPT2/ViTの規模は未明記
スポンサーリンク
解説
かみくだいて説明します
LoRAアダプターやアテンションの重み積算って、結局のところ二つの行列を単純に掛け合わせるだけですよね?
確かにその通りです。W等于BAという線形因子化ブロックは、現代の深層学習アーキテクチャで極めて一般的な構造です。
私たちが普段使っている最適化手法だと、なぜ学習が不安定になってしまうんですか?
因子分解が一意に定まらないため、重みが無限大に発散する発散現象が起きやすいためです。ユークリッド空間での更新では幾何学的な制約を無視してしまうため、学習率の上限が厳しく制限されてしまいます。
そこでarXivで公開されたStiefel-AdamWが、この構造に特化した最適化手法です。片方の因子をStiefel多様体上に制約し、もう片方をユークリッド空間に残す設計になっています。
そのアプローチって、具体的にはどういう仕組みなんですか?
行列の片方を直交行列の集合に固定することで、GL(R^r)ゲージ対称性をコンパクトな直交対称性まで緩和します。勾配更新は通常通りユークリッド空間で計算し、接空間への射影と多様体への再射影だけで幾何学を反映します。
計算コストを最小限に抑えながら、重みの爆発を物理的に防げるんですね!
その通りです。実装のオーバーヘッドは最小限で、AdamWと比べて追加コストはほぼありません。
実際の学習効果は、従来の手法と比べてどれくらい違うんですか?
GL(r)のゲージ対称性をコンパクトな直交群に緩和し、因子の発散を排除しつつ、実用的な強みである座標ごとの対角前条件付けを保持します。
追加コストはどのくらい見込まれるんですか?
標準的なAdamWとの比較では、オーバーヘッドは実質ゼロに近く、GPT2やViT、Mistral 7BでのLoRAファインチューニングにおいて一貫した性能向上が確認されています。
でも、W等于BA構造に特化した手法なら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。非線形活性化関数やスケーリング則そのものには介入しないため、線形因子化ブロックが存在する箇所でのみ効果を発揮します。
実務で導入する場合は、どのように試せばいいんですか?
既存のAdamW呼び出しをStiefel-AdamWに置き換えるだけで動作するため、コード修正は最小限です。LoRAパイプラインに差し替えてみてください。
GPT2やViT、Mistral 7Bといったモデルでの検証で、LoRAファインチューニングと事前学習の両方で改善を確認しました。
AdamW からの実装の手間はわずかなのに、微調整でも事前学習でも一貫して良くなるんですね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。