OliviaRossi_MiMo-Ornith-9B-AGSI-GGUF を llama.cpp で量子化してローカル推論する話

モデル

OliviaRossi_MiMo-Ornith-9B-AGSI-GGUF を llama.cpp で量子化してローカル推論する話

スポンサーリンク

OliviaRossi_MiMo-Ornith-9B-AGSI-GGUFが llama.cpp 対応で手に入る。Q4_K_M で 5.98GB。

この記事のポイント

  • 9BパラメータのLLMをGGUF形式で提供
  • MTP層を含みllama.cpp b11159で量子化
  • Q4_K_Mは5.98GB、localhost:8080でWeb UI

数字で見る

この記事に出てくる数字

Q4_K_Mサイズ 5.98GB

どこで使えるか

ローカルで鳥類画像認識を動かしたい人向け。MTP層対応のフロントエンドが要る。 Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

Hugging Face 上に、bartowski さんが 2026-09-24 に公開した圧縮モデルがあります。OliviaRossi さんの MiMo-Ornith-9B-AGSI を llama.cpp release b11159 で量子化し、Q4_K_M 形式の 5.98GB 版を配布しています。
5.98GB というのは小さい方なんですね。手元で動かすのは難しいですか?
難しくありません。llama.app を使えば llama.cpp が一行で入ります。llama-server を起動すれば、ブラウザのアドレスバーに localhost:8080 と入れるだけでチャット画面が開きます。
なるほど、ブラウザですぐ試せるんですね。では、MTP というのは何ですか?
Multi-Token Prediction の略です。通常のモデルが一回で一文字ずつ出すのに対し、MTP があるモデルは一回の計算で複数の文字をまとめて予測します。辞書を引く時、一文字ずつ探すのではなく、ページをぱらぱらとめくるイメージです。
ぱらぱらめくると早いですね。では、この圧縮版はどのソフトで動きますか?
LM Studio や koboldcpp、ramalama、Jan AI、Text Generation Web UI、LoLLMs、Atomic Chat などで使えます。ただし llama.cpp は release b11159 以上が必要です。
llama.cpp は release b11159 以上が必要とありましたが、古いバージョンだと動かないんですか?
b11159 以上が必要なのは、このモデルの構造が新しい場合に限定されます。
環境の条件がはっきりして安心です。では、元のモデルと比べて性能はどのくらい落ちますか?
このモデルは llama.cpp のリリース b11159 で量子化されています。
ほぼ保たれるなら実用に耐えそうです。最後に、このモデルを研究している人から見ると、どこが新しいんですか?
開発元の OliviaRossi さんが公開した元のモデルに、bartowski さんが MTP の層を組み込んで圧縮した点が特徴です。手元で動かす環境が広がったと言えます。llama.cpp の新リリース b11159 で量子化されたモデルです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル