K2-Horizon 0.9B を llama.cpp で量子化して動かす話

モデル

K2-Horizon 0.9B を llama.cpp で量子化して動かす話

スポンサーリンク

K2-Horizon 0.9Bの llama.cpp 版が手に入る。Q4_K_M で 0.69GB。

この記事のポイント

  • 9BモデルのGGUF量子化版
  • 量子化精度とサイズの組み合わせが豊富
  • llama.cpp b11462以上で動作

数字で見る

この記事に出てくる数字

Q4_K_Mサイズ 0.69GB

どこで使えるか

ローカルで推論したい人向け。Web UI 付きでブラウザ操作も可能。 Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

bartowski氏がHugging Faceで公開したK2-Horizon-0.9Bの量子化モデルです。2026年10月7日にアップロードされ、元となったのはIFM氏が作ったK2-Horizon-0.9Bというモデルです。
公開されたんですね。まずファイルの容量から教えていただけますか?
推奨のQ4_K_Mは0.69GBで、重みの精度を落として圧縮しています。名前のSやM、Lは基本精度のまま残す割合を表し、Mはおよそ70%、Sは約90%、Lは約50%です。
名前の末尾の文字で精度の残し方が変わるんですか。
はい。Lは基本タイプの中の最大サイズを指します。Q6_KのLはQ6_KのMに対して、Q4_KのMがSに対して持つ関係と同じです。正確には各ファイルの重みあたりのビット数で報告されています。
重みあたりのビット数ですか。そこがまだ掴めません。
画像を圧縮してメールに添付するイメージです。元の画質をできるだけ残しつつ、データ量を減らすために、重要な部分ほど細かく、余分な部分は粗く処理します。このモデルの場合は特に感度が高い重みにだけ余分な精度を割く設計になっています。
重要な部分だけ細かくするんですか。では実際に動かすにはどうすればいいんですか?
llama.cppというツールで動作します。llama.appから一行でインストールでき、llama-serverを起動するとブラウザからチャットができるWeb画面がlocalhostの8080番ポートで開きます。LM StudioやJan AI、koboldcppといった複数のソフトにも対応しています。
複数のソフトで使えるのは技術者にとって助かりますね。では、このモデルを自分の環境に組み込む場合、注意すべき点はあるんですか?
llama.cppのリリースb11462以上が必要です。もしこのモデルのアーキテクチャが新しい場合、それ以前のバージョンでは動かない可能性があります。また、ファイル名のLやSはサイズターゲットではなく、重みあたりのビット数で実際の大きさが決まるため、正確な容量はファイルごとに異なります。
決まったサイズではなく、ファイルごとに重みの密度が違うんですね。では、元モデルと比べて精度はどのくらい落ちるんですか?
ファイルごとのbits per weightは報告されていますが、具体的な精度低下幅については明記されていません。
最後に、このモデルの今後の展開について見通しはありますか。
bartowski氏は既存のファイルについて、動作環境のバージョン要件と重みあたりのビット数を各ファイルごとに明記しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル