llama.cppをb11521に更新するollama v0.40.4、推論の高速化とモデル対応の話

ツール・基盤

llama.cppをb11521に更新するollama v0.40.4、推論の高速化とモデル対応の話

スポンサーリンク

ollama v0.40.4が公開。llama.cpp を b11521 に更新し、EmbeddingGemma 2 に対応した。

この記事のポイント

  • llama.cppの更新で決定モデルに対応
  • EmbeddingGemma 2の追加と推論ルートの最適化
  • MLXの再帰状態圧縮とモデルピッカーの改善

どこで使えるか

ローカル推論のパフォーマンスを上げたい人向け。モデル対応の幅を広げたい人向け。 v0.40.4-rc1で入る rc版のため安定版はv0.40.3、ライセンスはMIT

スポンサーリンク

解説

かみくだいて説明します

ollama がバージョン 0.40.4 に更新されました。GitHub の github-actions[bot] が 2026 年 10 月 13 日に公開したものです。
開発者向けのツールですね。サーバー側の処理が速くなるんですか?
推論の経路で、すでに検証済みのマニフェストと読み込まれたモデルを再利用するようになりました。マニフェストはモデルの仕様をまとめた設定ファイルです。これまでは同じモデルを呼ぶたびに読み込み直しをしていた部分を省略できるので、同じリクエストが連続したときに待ち時間が減ります。
なるほど。同じデータを何度も読み込まなくて済むんですね。
正確には、サーバーがモデルを呼び出すたびに中身を再計算するのではなく、前回と同じ結果が保証されたデータをそのまま流用する仕組みです。開発者が自分で立てたサーバーで連続テストをするときや、同じチャット画面で質問を繰り返す場面でも、負荷が下がります。
では、モデルの選択画面も変わりますか。
Codex のモデルピッカーに、手元にあるモデルが一覧に加わります。これまで別メニューから探していた作業が、インストール済みのリストから直接選べるようになります。
確かに!作業の手間が省けますね。
llama.cpp という部品が b11521 に上がりました。判断用のモデルと、EmbeddingGemma 2 という文章を数値に変換するモデルに対応したためです。
数値に変換するというのは、まだ掴めません。
文章を、コンピュータが似ているかを比較しやすい数字の羅列に直す作業です。例えば、同じ作者の文章を自動で判別するときに、文字の並びではなく数字の並びで照合するので、正確さが上がります。
なるほど。MLX 側の修正は開発者が触る部分ですか。
推論中にエラーが出たとき、前に戻す作業の後に、余分なデータをすっきり整理する処理です。メモリを効率的に使うための内部作業なので、開発者が設定を変える必要はありません。
最後に、このバージョンで対応していないモデルはありますか。
v0.40.4ではllama.cppの更新やEmbeddingGemma 2の対応など、複数のモデルに関する対応が行われています。

出典

この記事のもとになった情報

  • GitHub:v0.40.4
  • 公開日:2026-10-13

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤