Nemotron 3.5 Super VL 120B、100万トークンの文脈で推論する話

モデル

Nemotron 3.5 Super VL 120B、100万トークンの文脈で推論する話

スポンサーリンク

Nemotron 3.5 Super VL 120B が BF16 版で公開。100万トークンの文脈に対応し商用利用も可能。

この記事のポイント

  • 推論やコーディング、ツール利用など
  • Mamba-2とMoEを組み合わせ
  • 4×H100でBF16推論、1Mトークン

数字で見る

この記事に出てくる数字

総パラメータ数 120B
アクティブパラメータ数 12B
最大コンテキスト長 1M

どこで使えるか

商用利用やドメイン適応を自前で進める人向け。100万トークンで推論コストを抑える Hugging Faceで公開済み 4×H100で推論例あり、ライセンスはother

スポンサーリンク

解説

かみくだいて説明します

NVIDIA が 2026-10-13 に、NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 という画像と動画、文章を同時に読み解くAIモデルを公開しました。全体のパラメータ数は 120B ですが、実際に動くのは 12B で、最大 1M トークンの長い文章を一度に処理できます。
全体と実際に動く数が違うんですか?
はい。120Bの総パラメータのうち、実際に動くのは12Bで、Mamba-2やMoE、アテンション層を組み合わせています。技術者はこのモデルをDockerでvLLMという推論サーバーに載せ、4×H100で動かせます。APIのエンドポイントは8000で、nemotron-3.5-super-vlという名前で呼び出せます。
4× H100 ならすでに手元にある環境で試せるということですね。API のエンドポイントは 8000 で、nemotron-3.5-super-vl という名前で呼び出せるんですか。
動画のフレームを途切れないように繋げる仕組みが、Multi-Token Prediction というものです。これにより、次のトークンを複数同時に予測して、ネイティブなスペキュラティブデコーディングが可能になります。
動画のフレームを途切れないように繋げるんですね。そこがまだ掴めません。
Mamba-2やC-RADIOなどの層を組み合わせた構造で、画像と言葉の両方を扱い、動画の内容も理解できるようになっています。
なるほど。では、開発者がこのモデルを自分の仕事に組み込むとき、ライセンスの条件はどうなっているんですか。
OpenMDW License Agreement の 1.1 に従います。商用利用も非商用利用もどちらも許可されています。BF16 の重みはカスタマイズやドメイン適応、完全精度での評価に対応しているため、技術者が独自データで微調整して使いやすい形にできます。
独自のデータで手を加えられるんですね。では、推論サーバーに載せたときの速度は、従来のモデルと比べてどれくらい変わるんですか。
材料には具体的な数値比較の記載がありません。そこはまだ分かっていません。Multi-Token Prediction による予測デコーディングの恩恵はありますが、他のモデルとのベンチマーク結果については公開されていないため、正確な差は確認できません。
比較データは出ないんですね。最後に、このモデルは研究者や技術者の間で、どのような位置づけとして使われていくんですか。
画像と動画、テキストを同時に扱い、長い文脈に対応します。技術者は専門的なAIエージェントの構築に、研究者はマルチモーダル推論の基盤として活用します。商用・非商用を問わず利用でき、BF16版はカスタマイズやドメイン適応、高精度評価をサポートします。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル