Edge0が24GBメモリで35B MoEを20tok/sで処理可能に。
この記事のポイント
- 35B MoEは4bitで19.5GB必要
- レイ間の依存でSSD読み込みが遅延
- 先読みルーティングで読み込みを先行
どこで使えるか
SSD読み込みの遅延を解消したい人向け。先読みルーティングでレイ間の依存を隠す
スポンサーリンク
解説
かみくだいて説明します
Yu Lin さんらの研究チームが arXiv に論文を発表しました。35B の MoE モデルを、消費電力の低い 24GB のメモリを搭載した機械で動かす技術「Edge0」を開発し、20tok/s の処理速度を維持しながら、ピーク時のアクティブメモリ使用量を 3GiB に抑えたと報告しています。
24GB のメモリで、35B のモデルを動かせるんですか。
通常、4-bit で圧縮しても重みのデータ量は 19.5GB に達します。層ごとに必要な専門モデルを選別する仕組みがあるため、計算量自体は減っても、メモリに保持するバイト数は変わらないのが課題でした。
では、層ごとの選別がなぜ問題になるんですか。
次の層でどの専門モデルを使うかを決めるには、今の層の出力結果が必要だからです。SSD からデータを読み込むだけでは、読み込み開始が計算の後ろについてしまい、待ち時間が消せませんでした。
では、どうやって読み込みを前に進めたんですか。
次層のルーティングを 1 トークン分先読みするプレルーターと呼ばれる部品を追加しました。予測値をそのまま実際の選別結果として使い、読み込んでおいた専門モデルのセットと、実際に必要になるセットを一致させています。
先読みする仕組みがまだ掴めません。もう少しやさしく言うとどうなりますか。
料理の注文に例えると、客が A 料理を注文した瞬間に、次の客が B 料理を頼むと予測して、B 料理の食材をあらかじめ冷蔵庫から出しておくようなイメージです。実際に B 料理の注文が入った段階で、食材は既に手元にあります。
予測が外れたらどうなるんですか。
品質の低下を補うため、学習済みの小さい修正モジュール LoRA を組み合わせています。4-bit への圧縮と先読みによるズレで失われた精度を、このモジュールで戻す仕組みです。
では、現場の技術者が使う立場から見ると、手元で動かすのに何が要りますか。
開発元はフレームワークとモデルの重み、修正モジュールをすべて公開しています。8B の smaller tier も同じ枠組みで動きます。
精度は元のモデルと比べてどうなっていますか。
5つの公開ベンチマークで、fp16 の教師モデルとほぼ遜色ない水準を維持しています。ただし、特定の産業向けデータでの安定性については、そこはまだ分かっていません。
最後に、今後どう広がっていく見通しですか。
35Bクラスモデルを24GBの単一マシンで20tok/s、fp16教師モデルの数ポイント差で実行可能であり、8Bティアも同フレームワークで動作します。フレームワーク、チェックポイント、アダプターはオープンソースです。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。