jebadiah-27b-v2-1 をローカルで動かす GGUF 版、llama.cpp で推論する話

モデル

jebadiah-27b-v2-1 をローカルで動かす GGUF 版、llama.cpp で推論する話

スポンサーリンク

jebadiah-27b-v2-1の GGUF 版が公開。Q4_K_M で 17.44GB、llama.cpp で動作。

この記事のポイント

  • 27BパラメータのLLMをローカルで動かす
  • llama.cpp b11671で量子化し軽量化
  • Q4_K_Mで17.44GB、llama.appで実行

数字で見る

この記事に出てくる数字

モデルサイズ 27B
Q4_K_M容量 17.44GB
Web UIポート 8080

どこで使えるか

Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

Hugging Faceに、bartowskiが2026年10月17日にモデルの軽量化版を公開しました。元になったのはfrontier-infra/jebadiah-27b-v2-1で、llama.cpp release b11671というツールで量子化を行っています。サイズと性能のバランスが良いとされるQ4_K_Mは、17.44GBです。
軽量化版なんですね。量子化というのは、モデルを小さくする作業なんですか。
そうです。重みの計算精度を落として容量を減らす作業です。原本がA4用紙100枚の分厚い辞書だとすると、量子化はその中からよく使う項目だけを抜き出して、ポケットに入る辞書にまとめるようなイメージです。
なるほど。専門用語だとつかめないので、もう少し簡単に言うとどうなりますか。
正確には、データを一括で送る代わりに、必要な部分だけを取り出す形に圧縮する作業です。動かすときの計算量を減らして、普通のパソコンでも走らせられるようにしています。
なるほど!では、現場で動かす人は、この軽量化版をどうやって手に入れますか。
llama.appというアプリからllama.cppをインストールできます。その中のllama-serverを起動すると、ブラウザでチャットの画面がローカルの8080番ポートで開きます。Split列にtrueとあるファイルは複数パートに分かれています。Hugging Faceの専用コマンドで、ローカルのフォルダを指定してダウンロードします。
ブラウザだけでチャットができるのは便利ですね。複数パートに分かれているファイルも、サーバー側で勝手に繋げてくれるんですね。
そうです。llama-serverが自動的にパートを繋げて読み込みます。ファイルは指定したフォルダに全て揃っていれば、サーバー側で一つにまとめて処理します。
容量は小さくなるけど、速さとのバランスが良いだけって書いてあるんですね
メモリ使用量を減らすために、llama.cpp release b11671を使って量子化しています。
確かに!最後に、llama.cpp release b11671より新しいバージョンが出たら、このモデルは自動的に更新されるんですか。
いいえ、自動的には更新されません。論文によると、このモデルはllama.cpp release b11671で量子化されており、このバージョン以上が必要なんです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル