Goetia 26B の量子化ファイル llama.cpp 対応と選択基準

モデル

Goetia 26B の量子化ファイル llama.cpp 対応と選択基準

スポンサーリンク

Goetia 26Bの量子化ファイルが llama.cpp 対応で手に入る。Q4_K_M は 18.75GB。

この記事のポイント

  • Q4_K_Mが18.75GB
  • llama.cpp b11490で量子化
  • ファイル毎のbits per weight表記

数字で見る

この記事に出てくる数字

Q4_K_Mサイズ 18.75GB
Sのベース精度 90%
Mのベース精度 70%

どこで使えるか

ローカルで動かしたい人向け。対応ビルドが要る場合がある Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

2026-10-09に、bartowskiがHugging FaceでNaphula/Goetia-26B-A4B-v1.7の量子化モデルを公開しました。容量と性能のバランスが良いとして、Q4_K_Mを18.75GBで推奨しています。
18.75GBというのは、手元のPCでそのまま動かせる容量なんでしょうか?
はい。llama.cpp release b11490というツールで圧縮しており、llama.appから一行でインストールできます。LM Studioやkoboldcpp、ramalama、Jan AI、Text Generation Web UI、LoLLMs、Atomic Chatでも動きます。
いろんなソフトに対応しているんですね。では、ファイル名の後ろについているSやM、Lの違いは何ですか?
基本の精度をどのくらい残すかというサイズ区分です。Sはおよそ90%、Mはおよそ70%、Lはおよそ50%を元の精度で保ちます。Q4_K_MからQ4_K_Lになると、MからSへの広がりと同じくらいファイルが大きくなります。
精度を残す割合が数字で決まっているんですね。では、技術者が組み込むとき、どのファイルを選べばいいんですか?
どの重みがそのモデルにとって敏感かによって、余分な精度が配分されます。Q4_K_Mは基本的にQ4_Kをベースにしていますが、敏感な部分だけ精度を上げているため、実測のビット数が保証値ではなく報告値になっています。
敏感な部分だけ精度を上げるというのは、要するに重要な箇所だけ手厚くするということですね。
正確には、モデルごとに重みの重要度が違うため、一律の規則ではなくこのモデル専用のレイアウトで計算しています。カメラで被写体にピントを合わせるように、背景は少し潰しても、被写体だけ鮮明に残すイメージです。
専用のレイアウトで計算しているとなると、他のモデルにそのまま流用はできないんですか?
いいえ、このファイルの一部はこのモデル用に計算されたレイアウトで作られている。
なるほど。では、動かすのに必要なllama.cppのバージョンは、古い環境では使えないということですか?
そうです。release b11490以降が必要です。もしこのモデルの構造が新しく追加された対応なら、それ以前のバージョンでは起動しません。
最後に、今後どのような展開が予想されますか?
対応ソフトの追加や、より小さいQ4_K_S、Q6_K_Lなどのファイルが公開される見込みですが、具体的な公開時期や性能比較データは、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル