K2-Horizon-3.7Bの量子化モデルが llama.cpp 対応で手に入る。
この記事のポイント
- Q4_K_Mで3.25GBのサイズ
- llama.cpp b11462で量子化
- Web UI付きでローカル実行可
数字で見る
この記事に出てくる数字
| Sのベース精度維持率 | about 90% |
|---|---|
| Mのベース精度維持率 | 70% |
| Lのベース精度維持率 | 50% |
どこで使えるか
ローカルで推論を組む人向け。llama.cpp 互換のフロントエンドが使える Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
Hugging Face 上に、bartowski が llama.cpp のバージョン b11462 で量子化をした K2-Horizon-3.7B のモデルファイルが、2026年10月7日に公開されました。
3.7B というのはモデルの大きさを表しているんですか。
はい、3.7B は 37億個の重みパラメータです。これを Q4_K_M という形式に圧縮すると、ファイルサイズは 3.25GB になります。圧縮というのは、辞書の言葉を略語に置き換えてページ数を減らすようなイメージです。
なるほど。ページ数を減らして持ち運びやすくするんですね。
そうです。llama.app をコマンド一行で入れれば、ブラウザのチャット画面が localhost の 8080 番ポートで立ち上がります。LM Studio や koboldcpp といった別のソフトでも使えます。
このモデルの構造が新しければ、この版以降が要る
量子化には llama.cpp のリリース b11462 が必要ですが、ファイルのレイアウトは llama.cpp の標準的なルールではなく、このモデル用に計算された独自のものです。S や M、L の接尾辞は、基本の精度をどのくらい残すかを示しています。
残す精度が高いほど、当然ながらファイルは重くなるということですね。
そうです。Q4_K_M から Q4_K_L に上げると、Q4_K_S から Q4_K_M に上げるのと同じくらいの差になります。精度は Q6_K_L で Q8_0 の中間くらいまで回復します。
精度を上げるほどファイルが大きくなるなら、メモリが 16GB しかない環境では Q4_K_L は厳しいかもしれませんね。
確かに。メモリが限られるなら、サイズと性能のバランスが良いQ4_K_Mがおすすめです。ファイルごとに重みあたりのビット数が報告されていますので、そこを基準に選んでください。
重みあたりのビット数というのは、もう少しやさしく言うとどうなるんですか。
1 個の重みに使われている情報の量です。辞書の例で言うと、略語を使わずに元の長い言葉で書かれている行数の割合です。
使う側からすると、精度とサイズのバランスを自分で測れるのは助かります。
そうですね。このモデルのアーキテクチャが新しい場合、llama.cpp の b11462 以降のリリースが必要になる点だけご注意ください。
最後に、ほかのモデルの量子化ファイルは、この bartowski さんが担当するんですか。
担当者はまだ明かされていません。
出典
この記事のもとになった情報
- Hugging Face:bartowski/K2-Horizon-3.7B-GGUF
- 公開日:2026-10-07
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。