jebadiah-9b-v2-1の画像対応モデルが llama.cpp 向けに量化され、Q4_K_M で 5.98GB で手に入る。
この記事のポイント
- 画像入力を伴う多モーダルモデル
- 前版からllama.cpp b11671で量子化
- Q4_K_Mで5.98GB、mmprojファイル同梱
数字で見る
この記事に出てくる数字
| モデルサイズ | 9B |
|---|---|
| Q4_K_M容量 | 5.98GB |
| Web UIポート | 8080 |
どこで使えるか
ローカルで画像入力付きLLMを動かしたい人向け。メモリ不足でもQ4_K_Mなら5.98GBで収まる Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
2026年10月17日に bartowski が Hugging Face に公開した jebadiah-9b-v2-1 の量子化モデルです。元になったのは frontier-infra の jebadiah-9b-v2-1 で、画像を入力として受け付ける multimodal 対応のモデルになります。
画像も読み取れるんですか。技術者が手元で動かす場合、どのくらいの容量が必要になるのか気になります。
推奨される Q4_K_M という形式だと 5.98GB です。llama.cpp の release b11671 というツールで生成していますので、このモデルの構造に対応している b11671 以降の llama.cpp が必要になります。
5.98GB ならサイズと性能のバランスが良い方ですね。動かすのに専用の環境構築は要りますか。
llama.app というパッケージを使えば一行のコマンドで llama.cpp がインストールできます。インストール後は llama-server を起動すれば、ブラウザからチャットができる Web 画面が localhost の 8080 番ポートで開きます。
ブラウザだけで操作できるんですね。では、他のソフトウェアとも連携できるのか気になります。
LM Studio や koboldcpp、ramalama といったツールでもそのまま使えます。画像を読み取るための mmproj という重みファイルも一緒に公開していますので、どの量子化バージョンを選んでも対応します。
ファイルは別にあると。マルチモーダル対応の投影ファイルが一緒に入っているんですね。
量子化は、詳しい情報をまとめてコンパクトに圧縮する処理です。辞書を辞書版にまとめるようなイメージで、必要な情報だけを残して容量を減らします。正確な数値やベンチマークの差については、そこはまだ分かっていません。
精度の差が気になる時は、まず Q4_K_M で試してみるのが良さそうですね。ファイルの形式が複数あるのは、用途に合わせて容量を選べるからですね。
Q4_K_Mなど複数の量子化形式があり、画像入力にも対応していて、llama.cppのb11671以降で動くみたいだね。
動作確認から始めるのが安心ですね。最後に、今後モデルの更新は予定されていますか。
更新の予定については要旨に明記されていませんが、llama.cpp のリリース b11671 で量子化されているので、モデルのアーキテクチャが新しくサポートされた場合はそのリリース以降が必要です。
出典
この記事のもとになった情報
- Hugging Face:bartowski/frontier-infra_jebadiah-9b-v2-1-GGUF
- 公開日:2026-10-17
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。