学習率とバッチサイズのスケジュールを連動させる話 3+3(+2) スケーリング則の理論的分解

論文

学習率とバッチサイズのスケジュールを連動させる話 3+3(+2) スケーリング則の理論的分解

スポンサーリンク

3+3(+2) スケーリング則の連動スケジュールが、学習曲線を支配する条件を特定した

この記事のポイント

  • 学習曲線は固定とされてきた
  • スケジュールの影響を解析
  • 3+3(+2)の伝播レジームを確認

どこで使えるか

スケーリング則の条件を解析したい研究者向け。理論的枠組みと実験手法を提供 論文の公開は記載なし 理論モデルと実験結果の両方を含む

スポンサーリンク

解説

かみくだいて説明します

Yichen Wangらの研究チームが、人工知能の学習曲線に関する論文をarXivに公開しました。学習率とバッチサイズのスケジュールを同時に変えると、モデルの学習曲線がべき乗則に従うかどうかが変わることを、数式と実験で示しています。
べき乗則が崩れる可能性があるんですか?これまでの研究では何ができていなかったんですか?
従来は学習率やバッチサイズを別々に考えていましたが、この研究では両方を組み合わせたスケジュールで制御します。内部時間で最適化の進み具合を測り、バッチサイズと学習率の比率でノイズの注入量を調整します。この二つが交わる条件によって、べき乗則が保たれたり変わったり壊れたりします。
比率でノイズを調整するんですね。では、現場で使う技術者から見ると、これは今使われているやり方を置き換える話ですか、まだ先の話ですか。
実験ではnanoGPTというモデルで検証しました。学習率とバッチサイズのスケジュールを同じ比率で追従させた場合、内部時間でほぼ同じ学習曲線になることを確認しています。また、強制項と記憶核で近似した式が、実際の損失をスケジュールを超えて正確に予測できることも示しています。
損失を予測する式が使えるなら便利ですね。$3+3(+2)$という表記は、何を表しているんですか?そこがまだ掴めません。
伝搬の仕組みが、強制項が3、記憶核が3、それに位相によって計算量が変わる部分が2、合わせて動いていることを表しています。例えば川の流れを想像してください。上流から泥が流れてくる強制項と、途中で渦ができて泥をため込む記憶核が交互に働き、水位が上がる段階によって流す量が変わる構造です。
水位が変わる段階によって流す量が変わるんですね。実務で使う側から見ると、学習時間の見積もりがどれくらい正確になりますか。
実験では、スケジュールを変えても内部時間で損失を当てはめることができました。つまりバッチサイズと学習率の組み合わせを変えたとき、同じ内部時間を確保すれば同じ精度に達する見通しが立ちます。これまではスケジュールごとに試行錯誤が必要でしたが、比率を合わせるだけで転用が効くようになります。
記憶の天井でそれ以上上がらなくなるんですね。では、ノイズ低減の天井は、スケジュールによってどれくらい変わるんですか。
スケジュールの相互作用でノイズ低減の天井が決まります。バッチサイズと学習率の比率がノイズ注入を制御し、べき乗則を破壊する条件が示されています。
最後に、実用化に向けて何がまだ分からないんですか。
論文では大規模言語モデルの学習が、この$3+3(+2)$の地図のどの領域にあるかを特定しています。ただし、学習率とバッチサイズのスケジュールが一致する経路では、実質的な時間がほぼ同じになることを示しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文