K2-Horizon-7B を llama.cpp で量子化してローカル推論を可能にする話

モデル

K2-Horizon-7B を llama.cpp で量子化してローカル推論を可能にする話

スポンサーリンク

K2-Horizon-7Bの llama.cpp 版が公開。Q4_K_M で 5.78GB。

この記事のポイント

  • 7BパラメータのLLMモデル
  • Q4_K_Mが5.78GBで軽量
  • llama.cpp b11462以上で動作

数字で見る

この記事に出てくる数字

Q4_K_Mサイズ 5.78GB
Sのベース精度 90%

どこで使えるか

Q4_K_Mのバランスをまず試したい人向け。llama.cpp b11462以上が要る Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

人工知能のモデルを軽量化したファイルが、bartowskiによってHugging Faceに公開されました。2026年10月7日付けのK2-Horizon-7B-GGUFで、70億パラメータのモデルを動かせるように切り分けたものです。
手元のパソコンでも動くんですね。選び方はどうなっているんですか?
主に4つの種類があります。Q4_K_Mがおよそ5.78ギガバイトで、サイズと精度のバランスが良いとされています。SやM、Lの文字は、基本の精度をどれくらい残すかを示しています。Sがおよそ90%、Mがおよそ70%、Lがおよそ50%です。高価な素材をどれくらい残すかで選べると思ってください。
LはMの上一段で、MがSの上一段という関係です。
増えます。LはMの上一段で、MがSの上一段という関係です。以前はLが特別な意味を持っていましたが、今回のファイルでは単に同じ系統の大きいサイズを指すだけになっています。
決まった数値目標がないんですね。動かすのに特別な準備は要るんですか?
llama.cppの最新リリースが必要です。b11462という番号のバージョンで変換されていますから、それより古いソフトでは動かない場合があります。
llama.appやLM Studioでもそのまま使えるんですね。
使えます。llama.cppの最新リリースがあれば、koboldcppといったソフトでも動作します。
古いソフトでは動かない可能性があるんですね。迷ったときはQ4_K_Mを選べばいいんですね。
迷ったときはQ4_K_Mが推奨されています。手元の環境に合わせて、精度と容量の兼ね合いで選んでください。どこまで正確に動くかは、使うソフトやパソコンの性能によります。
最後にもう一つだけ聞かせてください。この軽量化は、モデルの能力を大きく削ってしまうんですか?
精度を下げると計算量は減るけど、どれを選ぶか迷うなら Q4_K_M が大きさと性能のバランスがいいよ。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル