ollama v0.40.5が公開。クラウドで判断モデルを動かせるようになった
この記事のポイント
- ツール呼び出し続きで会話が止まる不具合
- カスタムツール呼び出しを含む応答を修正
- 24GB GPUのモデルは要約対象外
数字で見る
この記事に出てくる数字
| パラメータ数 | 120B |
|---|---|
| アクティブ | 12B |
| コンテキスト | 1M |
どこで使えるか
24GBのGPUに載らない大規模モデルをクラウドで動かしたい人向け ollamaで利用可能 nemotron-3.5-superで動作、ライセンスはMIT
スポンサーリンク
解説
かみくだいて説明します
github-actions[bot]がGitHubで公開したollamaのバージョン0.40.5で、NVIDIAのNemotron 3.5 SuperとNemotron 3.5 Boltという2つの新しいモデルが追加されました。Superは120Bパラメータのバックボーンを持ち、1トークンあたり12Bが動く構造で、Boltは74Bパラメータで24 GBのGPUに収まるように設計されています。
2つのモデルが出たんですね。この12Bが動く構造というのは、全部の部品を同時に使うわけではないんですか?
そうです。専門用語で mixture-of-experts と呼ばれる仕組みで、必要な部分だけを切り替えて計算します。例えば大きな図面を処理するとき、全部の部屋を点検するのではなく、その図面に必要な部屋だけを開けて作業するようなイメージです。
なるほど、必要な部分だけ使うんですね。では、この変更で開発者は具体的に何が楽になるんですか?
最大のポイントは、クラウド上で判断用のモデルを動かせるようになったことです。clef:cloud や clef-flash:cloud という指定だけで、ローカルにダウンロードせずにollama.comのクラウド経由で実行できます。これまで手元の環境にモデルを置く手間が要らなくなります。
クラウドで直接走らせるんですね。では、OpenAIのResponses形式でツール呼び出しを使った会話が、エラーにならなくなったというのはどれくらいの規模の話ですか?
ツール呼び出しを含む対話が、エラーで途切れることなく続けられるようになりました。
安定して繋がるようになったんですね。では、Boltの方はSuperと比べて処理速度はどのくらい変わるんですか?
速度の具体的な数値については、そこはまだ分かっていません。代わりに言えるのは、Boltは9Bが動く構造で、推論時に使うドラフターという部品が speculative decoding という手法で計算を効率化するよう設計されている点です。これは答えをまず予想して書き、正しいか素早くチェックする作業を繰り返す仕組みで、無駄な計算を減らします。
計算を効率化する仕組みなんですね。では、エラーメッセージが分かりやすくなったというのは、デスクトップアプリでクラウドに繋がらないとき、具体的にどう変わるんですか?
以前は単にアクセス失敗と出たものが、サインインの問題か、支払いの問題か、あるいはChatGPTのゲートウェイ側の問題かという原因ごとに、別のメッセージが表示されるようになります。ユーザーが自分で原因を特定しやすくなります。
原因がすぐ分かるようになりますね。では、llama.cppとMLXの更新で、このバージョンのモデル以外も使えるようになるんですか?
llama.cppの更新でNemotron 3.5のサポートが追加され、MLXも更新されています。これにより、対応するモデルがよりスムーズに利用できるようになります。
最後に、次はどのようなモデルがollamaに加わる見込みですか?
NVIDIA Nemotron 3.5 SuperとBoltが追加されました。Superは120BパラメータのハイブリッドMamba-2/Transformerモデルで、Boltは74Bパラメータのコンパクト版です。これらのモデルがollamaに加わりました。
出典
この記事のもとになった情報
- GitHub:v0.40.5
- 公開日:2026-10-16
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。