Salience 27Bの Q4_K_M 量化版が公開。17.44GB で llama.cpp 対応。
この記事のポイント
- 27BパラメータのLLMをローカルで動かす
- llama.cpp b10896で量子化しGGUF形式で公開
- Q4_K_Mは17.44GB、llama.appで動作
数字で見る
この記事に出てくる数字
| モデルサイズ | 27B |
|---|---|
| Q4_K_M容量 | 17.44GB |
| Web UIポート | 8080 |
どこで使えるか
Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
bartowski が Hugging Face 上で、vectionlabs/Salience-27B-R6 というモデルの量子化版を 2026-09-14 に公開しました。おすすめは Q4_K_M という容量で、ファイルサイズは 17.44GB です。
17.44GB というと、手元のパソコンのメモリにどれくらい余裕が必要になるんですか。
量子化というのは、モデルの重みを圧縮してメモリ消費を抑える処理です。例えば、重い荷物をコンパクトに梱包して運びやすくするイメージです。Q4_K_M は精度をある程度保ちつつ、サイズを小さくしたものですから、手元の環境で扱いやすくなっています。
圧縮して軽量化するんですね。でも、重みを圧縮すると精度が落ちないんですか。
Q4_K_Mはサイズとパフォーマンスのバランスが良いとされています。17.44GBで、実用的な選択です。
では、動かすための準備はどうすればいいんですか。
専用のソフト llama.cpp を使います。llama.app というインストールツールで、コマンドを 1 行打つだけでセットアップできます。サーバーを起動すると、ブラウザでチャットができる画面が localhost:8080 で開きます。
ブラウザだけで操作できるんですか。既存の llama.cpp で動かない場合は、どうすればいいんですか。
今回使ったのは llama.cpp の release b10896 というバージョンです。モデルの構造が新しい場合、それ以前のバージョンでは動かないことがあります。その場合は b10896 か、それ以降のバージョンに更新する必要があります。
古いバージョンだと使えない可能性があるんですね。研究している人から見ると、このモデルのどこが新しいんですか。
材料には具体的なベンチマークの数値や、従来モデルとの比較結果は記載されていません。そこはまだ分かっていません。
開発者側はこれをどう組み込む予定なんですか。
組み込み方法や公式のサポート範囲についての情報は、今回の公開ページにはありません。そこはまだ分かっていません。
最後に、ダウンロードで気をつける点はありますか。
ファイルが複数のパートに分かれている場合があります。ダウンロードする際は、Hugging Face のコマンドラインツールを使って、分割されたファイルを正しいフォルダにまとめて保存してください。
これらの量子化モデルは llama.cpp release b10896 で作成されています。モデルのアーキテクチャが新たにサポートされた場合、それを実行するにはこのリリース以降が必要です。
出典
この記事のもとになった情報
- Hugging Face:bartowski/vectionlabs_Salience-27B-R6-GGUF
- 公開日:2026-09-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。