K2-Horizon-3.7B の量子化モデルを llama.cpp で動かす話

モデル

K2-Horizon-3.7B の量子化モデルを llama.cpp で動かす話

スポンサーリンク

K2-Horizon-3.7Bの量子化モデルが llama.cpp 対応で手に入る。

この記事のポイント

  • Q4_K_Mで3.25GBのサイズ
  • llama.cpp b11462で量子化
  • Web UI付きでローカル実行可

数字で見る

この記事に出てくる数字

Sのベース精度維持率 about 90%
Mのベース精度維持率 70%
Lのベース精度維持率 50%

どこで使えるか

ローカルで推論を組む人向け。llama.cpp 互換のフロントエンドが使える Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

Hugging Face 上に、bartowski が llama.cpp のバージョン b11462 で量子化をした K2-Horizon-3.7B のモデルファイルが、2026年10月7日に公開されました。
3.7B というのはモデルの大きさを表しているんですか。
はい、3.7B は 37億個の重みパラメータです。これを Q4_K_M という形式に圧縮すると、ファイルサイズは 3.25GB になります。圧縮というのは、辞書の言葉を略語に置き換えてページ数を減らすようなイメージです。
なるほど。ページ数を減らして持ち運びやすくするんですね。
そうです。llama.app をコマンド一行で入れれば、ブラウザのチャット画面が localhost の 8080 番ポートで立ち上がります。LM Studio や koboldcpp といった別のソフトでも使えます。
このモデルの構造が新しければ、この版以降が要る
量子化には llama.cpp のリリース b11462 が必要ですが、ファイルのレイアウトは llama.cpp の標準的なルールではなく、このモデル用に計算された独自のものです。S や M、L の接尾辞は、基本の精度をどのくらい残すかを示しています。
残す精度が高いほど、当然ながらファイルは重くなるということですね。
そうです。Q4_K_M から Q4_K_L に上げると、Q4_K_S から Q4_K_M に上げるのと同じくらいの差になります。精度は Q6_K_L で Q8_0 の中間くらいまで回復します。
精度を上げるほどファイルが大きくなるなら、メモリが 16GB しかない環境では Q4_K_L は厳しいかもしれませんね。
確かに。メモリが限られるなら、サイズと性能のバランスが良いQ4_K_Mがおすすめです。ファイルごとに重みあたりのビット数が報告されていますので、そこを基準に選んでください。
重みあたりのビット数というのは、もう少しやさしく言うとどうなるんですか。
1 個の重みに使われている情報の量です。辞書の例で言うと、略語を使わずに元の長い言葉で書かれている行数の割合です。
使う側からすると、精度とサイズのバランスを自分で測れるのは助かります。
そうですね。このモデルのアーキテクチャが新しい場合、llama.cpp の b11462 以降のリリースが必要になる点だけご注意ください。
最後に、ほかのモデルの量子化ファイルは、この bartowski さんが担当するんですか。
担当者はまだ明かされていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル