Holo4-35B-A3Bの量子化モデルが llama.cpp 対応で手に入る。
この記事のポイント
- 35BパラメータのLLMを軽量化
- Q4_K_Mで22.32GBのメモリで動作
- llama.cpp b11259以上で実行可能
数字で見る
この記事に出てくる数字
| Q4_K_Mサイズ | 22.32GB |
|---|---|
| WebUIポート | 8080 |
どこで使えるか
llama.cppで量子化モデルを実行したい人向け。b11259以上が必要 Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
bartowskiがHugging Faceで、Holo4-35B-A3Bというモデルの量子化版を2026年9月30日に公開しました。llama.cppのリリースb11259を使って作られており、サイズと性能のバランスが良いQ4_K_Mというファイルが22.32GBで推奨されています。
22.32GBですね。量子化という言葉を初めて聞いたんです。もう少しやさしく言うとどうなりますか?
模型の重みを細かく計算する代わりに、数字を四捨五入するように丸めて容量を減らす技術です。原本が重さ100キロの荷物だとすると、中身を詰めて60キロにまとめるようなイメージです。
中身を詰めて軽量化するんですね。動かすのにllama.cppが必要なんですか。
必要です。llama.appという一つのツールからインストールできて、llama-serverを起動すると、ブラウザでチャットができる画面が自動的に開きます。アドレスは8080番のポートです。
ブラウザだけで会話ができるんですね。もとのモデルと比べて、性能はどのくらい落ちるんですか。
Q4_K_Mバージョンは容量と正確さのバランスが良いとされています。量子化を下げると、容量は減りますが、正確さに影響が出る可能性もあります。
容量を下げるほど正確さが変わる可能性があるんですね。llama.cppのb11259より前のバージョンでは動かないんですか。
動かない可能性があります。このモデルの構造に対応しているのはb11259以降なので、それより古いソフトでは起動できません。
では、ファイルの入手についてですが、Hugging Faceの公式ツールでやるんですか。
そうです。フォルダを指定するだけで複数のファイルを一括でダウンロードでき、分割されているファイルも同じフォルダにまとめれば自動的に読み込まれます。
一括でダウンロードして、ブラウザでチャット画面が開くんですね。研究している人から見ると、どこが使いやすくなったんですか。
llama-serverには最初からチャット用のウェブ画面が付いていて、ブラウザで開けばそのまま試せます。
準備時間が短縮できるんですね。最後に、この公開が研究者に与える影響はどれくらい大きいんですか。
量子化したファイルがいくつも用意されていて、サイズと性能の釣り合いで選べるようになっています。どれか迷ったら、だいたい良い具合になるものを選べばいいそうです。
出典
この記事のもとになった情報
- Hugging Face:bartowski/Hcompany_Holo4-35B-A3B-GGUF
- 公開日:2026-09-30
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。