Tiny Transformerの法則は12Kから50Mで保存されるか、変形するか。
この記事のポイント
- 12Kの3法則を4000倍範囲で再測定
- 天井と遅延は保存、減衰は変形
- 50Mの遅延欠損は学習率調整後も存続
数字で見る
この記事に出てくる数字
| パラメータ数 | 12K/1M/50M |
|---|---|
| スパン倍率 | 4,000x |
| 実行回数 | 360回+44回 |
どこで使えるか
法則の保存性を検証したい人向け。12Kから50Mで再測定し、役割衝突の欠損を特定できる。 arXivで公開済み 50Mでの追加実験あり
スポンサーリンク
解説
かみくだいて説明します
大谷嘉之さんが arXiv に論文を発表しました。小さい Transformer に全パターンが数え切れるタスクを学習させる手法で、入力の評価や一般化の上限を正確に計算でき、数百回の試行も数分で終わります。この手法が持つ四つの能力として、正確な上限値の算出、一つの構造変数だけを変えて他を固定するタスクの手術、全重みの直接観測、そして多数の試行にまたがる生存時間統計を挙げています。
全パターンが数え切れるというのは、実務で使うモデルとは違う次元の話ですね。研究している人から見ると、どこが新しいんですか。
実務のモデルは膨大なバリエーションに対応しますが、この小さなモデルでは一つ一つの答えが既に分かっている状態になります。だから一般化の上限が計算でき、どこまで伸びる余地があるかを正確に測れます。10^4 パラメータの規模で法則が導き出せるため、反証可能な形で上限値を出せます。
タスクの手術というのは、学習させる問題の一部だけを書き換えるということですか。
正確には、構造変数を一つだけ入れ替えて、他は全て固定するということです。実務のモデルでは複数の条件が同時に変わるため、どちらが結果に影響したか切り分けが難しいですが、この手法では変数の影響を単独で追えます。
10^4 パラメータで分かった法則が、もっと大きいモデルには当てはまらないという反論が出そうです。
確かにその懸念はあります。そこで大谷さんは、12K パラメータで導出した三つの法則を、12K、1M、50M パラメータで同じ手順からやり直して保存されているか確認しました。4,000倍の規模で、360回の実験に44回の制御群を加えています。その結果、回復可能上限の法則と役割衝突の遅延法則は保存され、0/144 の違反数で、相関係数が各規模で >= 0.75、順列検定の p 値が 1e-4 未満でした。重み減衰の応答法則だけ系統的に変形します。
重み減衰の法則だけ変形するというのは、モデルが大きくなるほど学習の進み方が歪んでいくということですか。
模型が大きくなるほど重みを削る強さへの反応が急になるということです。実務のモデルで同じように学習率を調整したり、計算予算を三倍にしても、役割衝突による遅れは残っていました。法則が崩れる部分自体が、一定の法則に従って変化していることになります。
法則の逸脱も法則的とされるので、モデルの規模を上げても安定する目安は技術者にも立つということです。
モデルの規模を上げる技術者にも、小さいモデルで測った数値が大きいモデルでもほぼ従う目安が立つということです。ただし50Mパラメータ以上の規模では、まだ試行回数が限られています。そこまでの正確な数値は、そこはまだ分かっていません。
では、次に気になるのは、この小さなモデルだけで導いた法則が、12Kから50Mパラメータの範囲で産業規模のモデルに適用されるかという点です。
産業規模への適用については、50Mパラメータを超えた部分のデータがまだ揃っていないため、具体的な数値や適用範囲はそこはまだ分かっていません。今後、より大規模なモデルでの検証が進めば、法則の変形がどの程度まで予測可能になるかが見えてくる予定です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。