推論の読み込みを小さくする KITE、Agentic LLM のスケーリング

論文

推論の読み込みを小さくする KITE、Agentic LLM のスケーリング

スポンサーリンク

KITEが、推論時の読み込みを減らしつつモデルを大きくする手法を出した。

この記事のポイント

  • モデル拡大時の推論コストが問題だった
  • KV不変のTransformer拡張手法KITEを提案
  • 67Bが47B比6.7%、63B比31.6%削減

数字で見る

この記事に出てくる数字

モデルサイズ 67B
アクティブパラメータ 2.15B

どこで使えるか

モデルを大きくしつつ推論コストを下げたい人向け。67Bが47B比6.7%、63B比31.6%削減 arXivで公開済み 67B MoEモデル、2.15Bアクティブパラメータ

スポンサーリンク

解説

かみくだいて説明します

LLMを大きくすればするほど、学習コストも推論コストも爆発的に増えるんですよね?
確かにその通りです。モデル品質の向上だけでなく、アーキテクチャの選択が計算コストに直結する現状を共有します。
既存の大規模モデルって、結局どちらかのコストを犠牲にしていませんか?
その通りで、従来の手法ではトレーニングコストを抑えると推論が遅くなり、逆もまた然りでした。両立が難しいのが現場の壁です。
そこでarXivで公開されたのが、KITEというスケーリングパラダイムです。小さなモデルから大きなモデルへアップサイクルし、追加パラメータをKVに影響しない領域に配置します。
KITEって、具体的にはどういう仕組みなんですか?
具体例としてStep Scale Transformer、通称SSTを紹介します。2つのタワーからなるデコーダーで、片方がKVペアを生成し、もう片方がそれを読み取る構造です。比喩で言えば、情報を整理する係と処理する係が別々の部屋で動くイメージです。
なるほど!KVを独立させて分離するんですね。
推論時のプリフィルリング段階では、小さなモデル部分だけでKVが完結するため、メモリ帯域の無駄遣いを防げます。
実際の性能差はどのくらいあるんですか?
累積トレーニング計算量が同等の条件で、SSTの67B MoEモデルはアクティブボディパラメータが2.15Bながら、47Bモデルのアクティブ1.48Bや63Bモデルのアクティブ2.02Bを学習ロスで上回りました。さらに推論コストを6.7%と31.6%削減しています。
47Bや63Bの従来モデルを比べて、推論コストが6.7%から31.6%も減るんですか?
はい、パラメータ数を増やしながらも、推論時のボトルネックを明確に解消した結果です。
でも、KVを別タワーに分離しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにその通りです。KITEはKVを別タワーに分離するスケーリング・パラダイムであり、新しいパラメータを注意機構のKVに影響を与えない領域に配置します。
自分で動かすのは難しいですか?
SSTは67BのMoEモデルで、2.15Bのアクティブパラメータを持つモデルです。
小さいモデルから育てて学習の手間を減らしつつ、増やした分は推論の下ごしらえに響かない場所に置くから、推論も軽くなるんですね。
推論コストが下がるなら、もっと気軽に大規模モデルが使えるようになりますね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文