dwight-4bの量子化モデルが llama.cpp b11564 に対応し、Q4_K_M が 2.59GB で手に入る。
この記事のポイント
- 4Bパラメータのモデルを軽量化
- Q4_K_MのS/M/Lでベース精度の維持率が異なる
- llama.cpp b11564で動作し2.59GB
数字で見る
この記事に出てくる数字
| Q4_K_Mサイズ | 2.59GB |
|---|---|
| S/M/L比率 | 90/70/50% |
どこで使えるか
ローカルで推論したい人向け。環境を選ばず使える Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
技術者向けのモデルの量子化ファイルを公開したbartowskiが、10月13日にzime-ai/dwight-4bのファイルを更新しました。推奨されるQ4_K_Mは容量が2.59GBで、llama.cppのb11564というバージョンを使って作られています。
2.59GBなら手元のPCでも動きそうです。使う側から見ると、このファイルはllama.cppがないと動かないんですか。
llama.cppという実行環境が必要ですが、LM StudioやJan AIといった別のツールでも使えます。量子化というのは、モデルの重みを細かく区切って容量を削る作業です。
重みを区切って容量を削る、というのはまだ掴めません。もう少しやさしく言うとどうなりますか。
辞書を100ページずつ束ねて箱に詰めるイメージで、全部を新装版にするのではなく、読みやすさが落ちにくい部分だけ丁寧に詰めます。
読みやすさが落ちにくい部分だけ丁寧に詰めるんですね。では、容量が小さいQ4_K_Sと大きいQ4_K_Lでは、どのくらい精度が変わるんですか。
S が約90%、M が約70%、L が約50%で元の精度のまま残ります。
精度を上げる代わりに容量が増えるのは分かります。では、llama.cppのb11564より古いバージョンだと、このファイルは動かないんですか。
動かない可能性があります。bartowskiの記述では、モデルの構造が新しい構造に対応している場合、b11564かそれ以降のバージョンが必要とされています。
では、ローカルで動かすときに、チャット画面は標準で付いてくるんですか。
付いてきます。llama-serverというツールにウェブ画面が含まれていて、デフォルトではlocalhostの8080番ポートで表示されます。
最後に、このファイルはllama.cpp以外のツールでも、同じように動くと考えていいんですか。
LM StudioやJan AI、koboldcppなど複数のツールで動作するとされています。ただし、ファイルごとに重みあたりのビット数が報告されているだけで、正確な動作保証の範囲はそこはまだ分かっていません。
出典
この記事のもとになった情報
- Hugging Face:bartowski/zime-ai_dwight-4b-GGUF
- 公開日:2026-10-13
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。