LatentLoopが、ループの初回訪問を圧縮して推論コストを下げた
この記事のポイント
- 異なるループ訪問の役割は不明
- 非対称計算配分を提案
- 15構成でNLLを低下。ただしベンチマーク9件
どこで使えるか
ループMoEで推論コストを削りたい人向け。1.3B-7Bで検証済み。 GitHubで公開済み 1.3B-7B、10^21 FLOPs超の15構成で評価
スポンサーリンク
解説
かみくだいて説明します
arXivに2026年10月15日に出された論文で、Looped Mixture-of-Expertsモデルの計算資源を非対称に配分するLatentLoopという手法を発表しました。
なるほど、同じパラメータを何度も通すモデルで、通る順番によって扱いを変えるんですか?
そうです。同じ重みを使う回数の中でも、初めの周回と2回目の周回では役割がはっきり違うことが分かっています。初めの周回で情報を粗くまとめておき、2回目の周回で詳しく処理するように設計を変えると、計算量を抑えながら精度が落ちないことが実験で確認できました。
初めの周回を粗くして、2回目でしっかり見る。では、どこが新しいんですか。これまでは何ができていなかったんですか。
初めの周回ではデータの流れを圧縮して扱いやすくし、節約した計算資源を2回目の周回の隠れ層の幅を広くする方に回します。Mixture-of-Expertsの重みは周回間で共有しつつ、注意力を調整するパラメータだけは周回ごとに別に持つことで、それぞれの解像度の違いに対応させています。
Mixture-of-Expertsの重みを共有して、注意力のパラメータだけ別にする。そこがまだ掴めません。
専門の言葉を噛み砕いて説明しますね。例えば料理の味付けを想像してください。複数の料理人が同じ塩と砂糖の調味料セットを共有して使いますが、それぞれの料理で使う火加減や混ぜ方だけは別々に決めます。重みは共通の調味料で、注意力のパラメータが火加減です。周回が変わっても基本の味付けは同じまま、処理の仕方だけ変えることで、粗い段階と細かい段階の両方に最適に対応できる仕組みです。
なるほど、調味料は共通で調理法だけ変える。では、実際にどれくらい計算量が減るんですか。
1.3Bから7Bの15通りの構成で検証した結果、最大予算が10^{21} FLOPsを超える条件でも、基本となるMixture-of-Expertsモデルに対しておよそ19.0%、ループを回す既存手法に対しておよそ7.9%の計算量を削減できました。検証時の誤差指標であるNLLが1.988に収束する地点で、この削減幅が出ています。NLLはモデルが予測した内容と正解のズレを表す数値で、この値が低いほど精度が高いことを意味します。
19.0%の削減で精度も上がっている。では、作る側から見ると、いま現場で使われているやり方を置き換える話ですか、まだ先の話ですか。
コードは公開先で公開されていますが、1.3Bから7Bの範囲で検証が完了している段階です。0-shotと5-shotの両方で9つのベンチマークにおいて平均スコアが向上しています。
最後に、公開されたコードでまずは15通りの構成を試すのが現実的な落としどころですね。
そうです。15通りの構成で検証した結果、LatentLoopはバリデーションNLLを一貫して低減させ、0ショットと5ショットの9つのベンチマークでも平均スコアを向上させました。
あわせて、今月にはMoEモデルの計算量や容量を再配分する手法に取り組む別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。