Nemotron 3.5 Super を動かす ollama v0.40.5、クラウドの判断モデルも使える話

ツール・基盤

Nemotron 3.5 Super を動かす ollama v0.40.5、クラウドの判断モデルも使える話

スポンサーリンク

ollama v0.40.5が公開。クラウドで判断モデルを動かせるようになった

この記事のポイント

  • ツール呼び出し続きで会話が止まる不具合
  • カスタムツール呼び出しを含む応答を修正
  • 24GB GPUのモデルは要約対象外

数字で見る

この記事に出てくる数字

パラメータ数 120B
アクティブ 12B
コンテキスト 1M

どこで使えるか

24GBのGPUに載らない大規模モデルをクラウドで動かしたい人向け ollamaで利用可能 nemotron-3.5-superで動作、ライセンスはMIT

スポンサーリンク

解説

かみくだいて説明します

github-actions[bot]がGitHubで公開したollamaのバージョン0.40.5で、NVIDIAのNemotron 3.5 SuperとNemotron 3.5 Boltという2つの新しいモデルが追加されました。Superは120Bパラメータのバックボーンを持ち、1トークンあたり12Bが動く構造で、Boltは74Bパラメータで24 GBのGPUに収まるように設計されています。
2つのモデルが出たんですね。この12Bが動く構造というのは、全部の部品を同時に使うわけではないんですか?
そうです。専門用語で mixture-of-experts と呼ばれる仕組みで、必要な部分だけを切り替えて計算します。例えば大きな図面を処理するとき、全部の部屋を点検するのではなく、その図面に必要な部屋だけを開けて作業するようなイメージです。
なるほど、必要な部分だけ使うんですね。では、この変更で開発者は具体的に何が楽になるんですか?
最大のポイントは、クラウド上で判断用のモデルを動かせるようになったことです。clef:cloud や clef-flash:cloud という指定だけで、ローカルにダウンロードせずにollama.comのクラウド経由で実行できます。これまで手元の環境にモデルを置く手間が要らなくなります。
クラウドで直接走らせるんですね。では、OpenAIのResponses形式でツール呼び出しを使った会話が、エラーにならなくなったというのはどれくらいの規模の話ですか?
ツール呼び出しを含む対話が、エラーで途切れることなく続けられるようになりました。
安定して繋がるようになったんですね。では、Boltの方はSuperと比べて処理速度はどのくらい変わるんですか?
速度の具体的な数値については、そこはまだ分かっていません。代わりに言えるのは、Boltは9Bが動く構造で、推論時に使うドラフターという部品が speculative decoding という手法で計算を効率化するよう設計されている点です。これは答えをまず予想して書き、正しいか素早くチェックする作業を繰り返す仕組みで、無駄な計算を減らします。
計算を効率化する仕組みなんですね。では、エラーメッセージが分かりやすくなったというのは、デスクトップアプリでクラウドに繋がらないとき、具体的にどう変わるんですか?
以前は単にアクセス失敗と出たものが、サインインの問題か、支払いの問題か、あるいはChatGPTのゲートウェイ側の問題かという原因ごとに、別のメッセージが表示されるようになります。ユーザーが自分で原因を特定しやすくなります。
原因がすぐ分かるようになりますね。では、llama.cppとMLXの更新で、このバージョンのモデル以外も使えるようになるんですか?
llama.cppの更新でNemotron 3.5のサポートが追加され、MLXも更新されています。これにより、対応するモデルがよりスムーズに利用できるようになります。
最後に、次はどのようなモデルがollamaに加わる見込みですか?
NVIDIA Nemotron 3.5 SuperとBoltが追加されました。Superは120BパラメータのハイブリッドMamba-2/Transformerモデルで、Boltは74Bパラメータのコンパクト版です。これらのモデルがollamaに加わりました。

出典

この記事のもとになった情報

  • GitHub:v0.40.5
  • 公開日:2026-10-16

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤