GEV-26B-DecideのMoEをNVFP4で量子化し、推論速度を3倍高速化した話

モデル

GEV-26B-DecideのMoEをNVFP4で量子化し、推論速度を3倍高速化した話

スポンサーリンク

GEV-26B-DecideのNVFP4版が、JEV-27B-VLと同等の成功率で3倍速の推論を実現した。

この記事のポイント

  • 26BパラメータのGEV-26BをNVFP4量子化
  • システム1アダプタはbf16のまま変更なし
  • B200で85ms/クリック、60タスク中95%完了

数字で見る

この記事に出てくる数字

ルーティング专家数 3,840
タスク完了率 95%

どこで使えるか

JEV-27B-VLと同等の成功率で3倍速を組む人向け。B200で85ms/クリック Hugging Faceで公開済み vLLMで読み込み。B200単一GPU推奨

スポンサーリンク

解説

かみくだいて説明します

autotrustが2026年10月5日に公開したGEV-26B-Decide-NVFP4は、240億パラメータのモデルのうち、3,840個のルーテッドエキスパートだけをNVIDIAの4ビット浮動小数点形式NVFP4に量子化しています。
3,840個だけですか。残りの部分はそのままの精度で動くんですか?
そうです。attentionやdense MLP、ルーター、ビジョンタワーやアダプターなどはすべてbf16のまま残しています。量子化するのは重みの大半を占める22GB分のエキスパートだけなので、システム1アダプターの再学習も不要です。
再学習がいらないのは技術者にとって大きいですね。でもNVFP4という形式は聞き慣れないんですが、どういう仕組みなんですか?
16個のデータを1つのグループにして、グループごとに8ビットのスケールで調整し、モデル全体には32ビットのスケールをかける方式です。水の入ったバケツを16個一束にして、束ごとに目盛りを合わせ、全部を載せる台車の重さを32ビットで管理するイメージです。
精度の差が誤差範囲なら、実務での使い勝手は変わりませんね。
その通りです。ベンチマークのGPQA DiamondとHLEでは、量子化前後の差は実行ごとの誤差範囲のおよそプラスマイナス7ポイント以内です。画像を見て次の操作を選ぶコンピュータ操作タスクでは、60件のランダムなマルチステップ課題の95%を、1回の推論でおよそ85ミリ秒ごとに完了しています。
85ミリ秒で95%の成功率なら、同じ系統のJEV-27B-VLと比べてどうなりますか。
成功率は同じで、速度はおよそ3倍速いです。1台のB200で1回のフォワードパスだけで処理します。
1台のGPUで動けば、現場への組み込みも楽そうです。vLLMでそのまま読み込めますか。
できます。config.jsonから量子化情報を自動で読み取り、フラグなしでvLLMが起動します。ModelOptのNVFP4レイアウトと除外リストを共用しているためです。
では、この量子化モデルは他のモデルとの比較以外に、まだ公開されていない仕様はありますか。
他モデルとの詳細な比較データや、長期運用時のメモリ使用量の変化については、そこはまだ分かっていません。
最後に、研究者や技術者が次に注目すべき点はどこになりますか。
量子化による精度の安定性と、異なるタスクへの汎用性を、実際のデータで追っていくことになります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル