K2-Horizon-MoVA-36B-A4Bの llama.cpp 版が公開。Q4_K_M で 22.70GB。
この記事のポイント
- 36Bパラメータのマルチモーダルモデル
- llama.cppで量子化しローカル推論に対応
- Q4_K_Mで22.70GB、llama.appで動作
数字で見る
この記事に出てくる数字
| Q4_K_Mサイズ | 22.70GB |
|---|
どこで使えるか
ローカルでマルチモーダルモデルを動かしたい人向け。llama.appで動作しUIも標準搭載 Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
bartowskiが2026年10月8日、Hugging Faceで K2-Horizon-MoVA-36B-A4B の量子化モデルを公開しました。推奨サイズは22.70GBの Q4_K_M です。
22.70GBだとローカルで動かす場合、メモリはどれくらい要るんですか?
量子化はモデルの重みを圧縮する技術で、Q4_K_Mは4ビットに丸めた形式です。重い荷物を実機ではなく模型で代用するイメージで、グラフィックカードのメモリへの負担を大幅に減らせます。
この圧縮で、サイズと性能のバランスが良くなるとされています。
確かに数値は下がりますが、Q4_K_Mはサイズと性能のバランスが良いとされています。元のbf16版と比べても、実用的な精度を維持できるように設計されています。
バランスが良い形式ですね。手元で動かす場合、特別な環境は要りますか?
llama.cpp release b11462以降と llama.appがあれば動作します。サーバー機能も内蔵していて、ブラウザでチャット画面が開く仕組みです。アクセス先はローカルアドレスの8080番ポートになります。
ブラウザだけで操作できますね。分割ファイルのダウンロードはコマンド一つで済むんですか?
ターミナルのコマンド一つで全パートをまとめてローカルフォルダに保存できます。分割フラグが立ったファイルは llama.cpp が自動的に結合してくれるので、手動で繋ぎ合わせる必要はありません。
自動結合は便利ですね。バージョンが古いと使えないのは開発者の注意点です。
新しいリリースが必要なのは、このモデルのアーキテクチャが新たにサポートされた場合だけですよ。古いバージョンでも既存対応なら問題なく動きます。
最後に、分割ファイルの結合は動かすたびに毎回必要になるんですか?
結合は llama.cpp のリリース b11462 で対応しており、モデルのアーキテクチャが新しく対応された場合は、そのリリース以降が必要になります。
出典
この記事のもとになった情報
- Hugging Face:bartowski/K2-Horizon-MoVA-36B-A4B-GGUF
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。