TheDrummer_Artemis-31B-v1.2の量子化版を llama.cpp で動かす話

モデル

TheDrummer_Artemis-31B-v1.2の量子化版を llama.cpp で動かす話

スポンサーリンク

TheDrummer_Artemis-31B-v1.2の量子化版がllama.cpp向けに公開。Q4_K_Mは19.52GB。

この記事のポイント

  • 31BパラメータのモデルをGGUF形式で公開
  • llama.cpp b11159で量子化しbf16版から変換
  • Q4_K_Mは19.52GBのファイルサイズ

数字で見る

この記事に出てくる数字

Q4_K_Mサイズ 19.52GB

どこで使えるか

Hugging Faceで公開済み

スポンサーリンク

解説

かみくだいて説明します

bartowski が Hugging Face 上で、Artemis-31B-v1.2 の量子化モデルを 2026-09-26 に公開しました。容量は 19.52GB です。
中身はどれくらい変わるんですか?
数値の精度を落としてファイルの容量を減らす技術です。写真の解像度を下げてストレージを節約するのと仕組みは同じです。精度の落ち幅は材料に明記されていません。
動かす環境が気になるんです。何が必要ですか?
llama.app で llama.cpp を導入すれば、ブラウザ上のチャット画面が動きます。デフォルトはローカルホストの 8080 番ポートです。
古いソフトでは使えないわけですね。なぜ指定があるんですか?
このモデルの構造が新しいため、それ以前のバージョンでは読み込めないからです。古いソフトでは使えません。
31B は大きい方ですよね。開発者が組み込むのは現実的ですか?
llama.cppのリリースb11159を使って量子化されています。
追加の手間は要らないんですか?
llama.cpp 単体でサーバーと Web 画面が提供されています。追加の依存関係は材料には書かれていません。
最後に、他のサイズも出る見込みですか?
Q4_K_Mが推奨されています。19.52GBでサイズとパフォーマンスの良いバランスが取れています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル