MiMo-V2.6-Distill-Qwen-9Bの GGUF 版が公開。Q4_K_M で 5.84GB。
この記事のポイント
- 9Bパラメータのマルチモーダルモデル
- Q4_K_Mで5.84GBの量子化版を公開
- llama.cpp b10964で量子化
数字で見る
この記事に出てくる数字
| モデルサイズ | 9B |
|---|---|
| Q4_K_M容量 | 5.84GB |
| Web UIポート | 8080 |
どこで使えるか
ローカルで画像付きチャットを動かしたい人向け。対応 llama.cpp 版が要る Hugging Faceで公開済み
スポンサーリンク
解説
かみくだいて説明します
人工知能のモデルをローカルで動かすためのファイルが、bartowski によって 2026 年 9 月 22 日に公開されました。Qwen の 9B というモデルを、画像も読み取れるようにしたものです。
画像も読み取れるというのは、テキストだけじゃなかったんですね。ローカルで動かす場合、使うソフトは何が条件になるんですか?
条件になるのは llama.cpp というツールで、リリース番号が b10964 以上のものが必要です。この番号より古いバージョンだと、ファイルの形が違うため動かない場合があります。
b10964 以上が必要なんですね。では、その llama.cpp を入れたあとに、ブラウザでチャット画面を開ける機能は付いているんですか?
付いています。llama-server というサブコマンドを使うと、デフォルトで localhost の 8080 番ポートにチャット用の画面が立ち上がります。特別な設定なしに、ブラウザから操作を始められます。
ブラウザだけで操作できるんですね。ファイルの容量で迷ったときは、どれを選べばいいんですか?
迷ったときは Q4_K_M というファイルを選べばいいです。容量は 5.84GB で、サイズと精度のバランスが取りやすい形になっています。
5.84GB なら手元の環境でも入りそうですね。画像を読み取るには、別のファイルがもう一つ要るんですか?
要ります。画像を認識する部分の mmproj というファイルが 2 種類あって、bf16 のものと f16 のものが用意されています。Q4_K_M のファイルと一緒に読み込ませると、モデルが画像の内容を解釈できるようになります。
bf16 と f16 の違いは何ですか。精度と引き換えに容量はどれくらい変わるんですか。
容量の差はここには記載がありません。bf16 の方は f16 よりも精度が高く保たれますが、具体的な数値の差はそこはまだ分かっていません。
具体的な数値は出ないんですね。では、このファイルに対応しているソフトは、llama.cpp 以外にいくつあるんですか。
7 つあります。LM Studio、koboldcpp、ramalama、Jan AI、Text Generation Web UI、LoLLMs、Atomic Chat です。llama.cpp 以外でも、これらに読み込ませる形で使えます。
7 つも対応しているんですね。最後に、量子化というのがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、データを圧縮してファイルの容量を減らす作業です。元の写真から解像度を下げて保存するのと同じように、モデルの数値をまとめて小さくしています。精度をある程度保ちながら、手元のパソコンでも動かしやすくしています。対応する llama.cpp のバージョンが古い場合は、最新版に更新してから試してみてください。ファイルの読み込みでエラーが出る場合は、まず bartowski さんの公開ページで仕様を確認してみてください。
出典
この記事のもとになった情報
- Hugging Face:bartowski/MiMo-V2.6-Distill-Qwen-9B-GGUF
- 公開日:2026-09-22
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。