Ling-3.0-flash-VL を llama.cpp でローカル推論する GGUF 版の選び方

モデル

Ling-3.0-flash-VL を llama.cpp でローカル推論する GGUF 版の選び方

スポンサーリンク

Ling-3.0-flash-VLの llama.cpp 用 GGUF が公開。Q4_K_M は 78.66GB。

この記事のポイント

  • 視覚言語モデルの量子化版
  • Q4_K_Mがサイズと性能のバランスが良い
  • llama.cpp b11159で動作する

数字で見る

この記事に出てくる数字

Q4_K_Mサイズ 78.66GB
WebUIポート 8080

どこで使えるか

視覚言語モデルをローカルで動かしたい人向け。llama.cppで動作しQ4_K_Mが推奨。 Hugging Faceで公開済み ライセンスはmit

スポンサーリンク

解説

かみくだいて説明します

人工知能の画像と文章を同時に扱うモデル、Ling-3.0-flash-VL-GGUFを、bartowskiが2026年9月25日にHugging Faceで公開しました。内包AIのオリジナルを、llama.cpp release b11159で量子化しています。
内包AIのモデルをbartowskiさんが軽くした版ですね。量子化って、中身をどう変えるんですか?
計算に必要な情報を減らして容量を縮める作業です。辞書を大型版からポケット版に書き換えるようなものです。文字は少し潰れますが、持ち運びやすくなります。
持ち運びやすくなるんですね。ただ、文字が潰れると正確さが落ちるんじゃないですか。
確かに精度は下がりますが、ファイルサイズと性能のバランスが良いとされています。推奨されるQ4_K_Mという規格なら、78.66GBです。
このサイズなら手元の環境でも試せますね。では、実際に動かすのに何が必要ですか。
llama.cppというツールで動きます。llama.appから一行でインストールでき、llama-serverを起動すると、ブラウザでチャット画面がlocalhost:8080で開きます。
ブラウザだけで話せるんですか。自作のプログラムに組み込むのは難しいですか。
llama.cppの仕様に合わせて書けば組み込めます。split列がtrueのファイルは複数のパーツに分かれていますので、CLIで一度にダウンロードする必要があります。
パーツ分けされているんですね。ただ、CLIってコマンドラインのことですよね。そこがまだ掴めません。
そうです。画面に文字を打って指示を出す操作です。llama.cpp release b11159以上で動きますから、古いバージョンでは動かない可能性があります。
文字で指示を出すんですね。計算の速さはどれくらい変わりますか。
量子化の度合いによって変わります。推奨規格なら、速度と精度のバランスが取れています。より軽い規格も用意されていますが、正確な速度データはそこはまだ分かっていません。
バランス重視ならQ4_K_Mでいいんですね。最後に、今後どう広がっていく見込みですか。
迷ったらQ4_K_Mを取るのが定番で、サイズと性能のバランスがだいたい良いそうです。ただ動かすにはllama.cppのb11159以降が要るので、そこは確認してから入れてくださいね。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル