Nimruz_Mizan-v3-3B を llama.cpp で量子化し、推論サーバーで使えるようにした話

モデル

Nimruz_Mizan-v3-3B を llama.cpp で量子化し、推論サーバーで使えるようにした話

スポンサーリンク

Nimruz_Mizan-v3-3Bの llama.cpp 版量子化モデルが公開。Q4_K_M が 2.03GB で推奨。

この記事のポイント

  • テキスト生成ではなく判断モデル
  • imatrixなしの静的量子化
  • Q4_K_Mで2.03GB

数字で見る

この記事に出てくる数字

モデルサイズ 3B
Q4_K_M容量 2.03GB

どこで使えるか

判断モデルをローカルで動かしたい人向け。Q4_K_M以上を推奨 Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

bartowskiが2026-10-14にHugging Faceで公開したNimruz_Mizan-v3-3B-GGUFは、テキストを生成するモデルではなく、決断を下すためのモデルです。状態と質問の型を受け取ると、すべての選択肢の確率を一度の計算で返します。
なるほど、文章を書くのではなく、選択肢の中から答えを選ぶモデルなんですね。では、このモデルを動かす側の技術者から見ると、従来のテキスト生成モデルと比べて、何が最も違うんですか?
従来のモデルが次の言葉を一つずつ紡ぐのに対し、このモデルは一度にすべての選択肢の確率を出します。まるで複数の道標を一度に見るようなイメージです。そのため、チャットや文章の続きを書く機能は最初からありません。
確かに、用途が明確に分かれますね。では、このモデルを呼び出すためのAPIや、動かすためのツールについて教えてください。
llama-serverの/v1/systemoneエンドポイントで動きます。テキスト生成ではなく、状態と質問スキーマから選択肢の確率を返す専用モデルなので、llama.cppのツールでそのまま扱えます。
専用のエンドポイントが用意されているのは分かりやすいですね。では、ファイルの品質を保つための条件や、おすすめのサイズはどれくらいですか?
推奨されるのはQ4_K_Mという形式で、サイズはおよそ2.03GBです。4bit以下のファイルでは精度が目に見えて落ちるため、Q4_K_Mかそれ以上のサイズを使うのが安全です。
2.03GBで十分な精度が得られるのは助かります。では、このモデルの評価指標について、研究者から見ると何が測定できないんですか?
通常のモデルが評価される際に使われるパープレキシティやKLダイバージェンスは、このモデルでは測れません。これらの指標はモデルがテキストを生成する過程で計算するものですが、このモデルはテキストを生成しないため、適用できないのです。
なるほど、生成しないモデルには従来の評価尺が当てはまらないわけですね。では、回答を担う部分の精度について、なぜ固定されているんですか?
回答を担う決定ヘッドはQ8_0で固定されています。この部分はモデルの回答を直接生み出すため、精度を落とすと回答の質が低下する恐れがあるからです。
精度を落とさないために重要な部分だけ高品質に保つわけですね。最後に、このモデルの今後の展開や、まだ分からない点はありますか?
Q4より小さいファイルはimatrix量化と比べて品質が目立って落ちるとされていますが、このモデルにはimatrixが存在せず比較自体ができません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル