NVIDIA Nemotron 3.5 Super VL 120BのNVFP4量子化版、vLLMで推論する話

モデル

NVIDIA Nemotron 3.5 Super VL 120BのNVFP4量子化版、vLLMで推論する話

スポンサーリンク

Nemotron 3.5 Super VL 120BのNVFP4版が公開。120Bパラメータ中12Bが動作し、商用利用も可能。

この記事のポイント

  • 映像言語推論・コーディング・動画理解向け
  • NVFP4量子化でメモリを削減
  • 120Bパラメータ、1Mトークン対応

数字で見る

この記事に出てくる数字

総パラメータ 120B
活性パラメータ 12B
コンテキスト長 1M

どこで使えるか

映像言語推論や動画理解を商用で使いたい人向け。1Mトークン対応で高メモリ削減。 Hugging Faceで公開済み DGX Spark専用。vLLM nightly版で動作

スポンサーリンク

解説

かみくだいて説明します

NVIDIA が 2026 年 10 月 13 日に、映像と言葉を同時に扱う AI モデル「Nemotron 3.5 Super VL」を NVFP4 という技術でメモリを減らした版を公開しました。合計 120B のパラメータを持ちながら、実際に動くのは 12B で、1M tokens までの長い文章や画像、動画に対応します。
全体から実際に動く分だけを使うんですか。作る側の技術者から見ると、中身がどうなっているのかどこが新しいんですか?
はい。複数のブロックからなるグループの中から、必要な分だけを毎回選ぶ仕組みになっています。文章を書くたびに使う部品が変わるイメージです。
なるほど、その選び方だとメモリがすっきりしますね。1M tokens まで対応すると言いましたが、実際に動かすのにどんな環境が要りますか?
NVIDIA の GPU を積んだ DGX Spark という専用機で動かす想定です。Docker という箱を使ってサーバーを立ち上げ、ポート 8000 で API を開きます。商用でも非商用でも、OpenMDW というライセンスに従えば使えます。
専用機限定なんですね。では、映像や動画を同時に読み解く部分は、研究者から見るとどこが新しいんですか?
画像や動画の情報を言葉に直す接続部分と、長い動画でも情報を飛ばさず拾う Mamba-2 という層を組み合わせています。水泳で例えると、前のターンで押した水の勢いを次のストロークでそのまま活かすような仕組みです。
前の映像の勢いを次の部分に活かすんですか。そこがまだ掴めません。推論の速さを上げる Multi-Token Prediction というのは、どういう働きをするんですか?
通常は 1 文字ずつ答えを生成しますが、この仕組みでは 1 回の計算で複数の文字を一度に推測します。下書きを先に複数並べてから、正しい部分を素早く選り分ける作業に近いです。
下書きを並べてから選ぶんですか。1 回の計算で何文字くらい一度に推測できるんですか?
1回の下書きで7個の推測トークンを並べます。DGX Spark上で並行して処理できるのは1本の文章だけですが、7個ずつ推測を繰り返すことで、全体としての生成速度が上がります。
1 本だけ並行処理で 7 文字ずつ速くなるんですね。最後に、このモデルの今後の展開や、まだ見えていない部分はありますか?
商用も非商用も利用でき、このDGX Spark専用設定で1Mトークンまでの文脈に対応します。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル