画像入力も可能な FrogNano-4B-2609 を llama.cpp で量子化

モデル

画像入力も可能な FrogNano-4B-2609 を llama.cpp で量子化

スポンサーリンク

FrogNano-4B-2609の llama.cpp 向け量子化版が公開。画像入力に対応。

この記事のポイント

  • 画像入力の4Bモデル
  • llama.cppで量子化
  • Q4_K_Mは2.80GB

数字で見る

この記事に出てくる数字

モデルサイズ 4B
Q4_K_M容量 2.80GB

どこで使えるか

ローカルでマルチモーダル推論を動かしたい人向け。Web UI付きのサーバーも立ち上がる Hugging Faceで公開済み ライセンスはmit

スポンサーリンク

解説

かみくだいて説明します

bartowskiが、microsoftのFrogNano-4B-2609を量化したモデルを、2026年10月3日に公開しました。Q4_K_Mというファイルを選べば、容量はおよそ2.80GBで、サイズと性能のバランスが取れています。
容量が2.80GBというのは、手元のPCでも動きやすいサイズですね。では、このモデルを動かすのに、特別な環境が必要なんですか。
特別な環境は要りません。llama.cppというツールを使って動かす仕組みで、llama.appから一行コマンドでインストールできます。llama-serverを立ち上げると、ブラウザでチャットができる画面が自動的に開きます。アドレスはローカルの 8080 番ポートです。
ブラウザだけでチャットができるというのは、技術者にとってかなり手軽ですね。量化というのは、モデルを軽くする作業のことですか。
そうです。量化は、モデルの中の数字を丸めて容量を減らす作業です。例えば、本を要約してポケットに入るサイズにまとめるようなイメージです。今回はllama.cppのrelease b11279というバージョンで処理をしています。
本を要約するイメージだと分かりやすかったです。では、このモデルは画像を入力することもできるんですか。
画像の入力に対応しています。そのために、mmproj-FrogNano-4B-2609-bf16.ggufとmmproj-FrogNano-4B-2609-f16.ggufというファイルが一緒に公開されています。これらを量化したモデルと組み合わせると、画像を読み取って処理できるようになります。
画像を扱うための専用ファイルが別に用意されているんですね。では、llama.cpp以外のソフトでも使えますか。
使えます。LM Studio、koboldcpp、ramalama、Jan AI、Text Generation Web UI、LoLLMs、Atomic Chatといったソフトでも動作します。ただ、llama.cppのrelease b11279より古いバージョンでは動かない場合があります。
多くのソフトに対応しているのは、現場で使う側にとって助かりますね。最後に、このモデルの今後の展開はどうなるんですか。
今後の展開については、要旨には書かれていません。公開されているのは、このモデルの画像入力に対応したmmprojファイルと、llama.cppで動作する量化ファイルだけです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル