Mellum2.1-12B-A2.5B-Thinkingの量子化版が公開。ローカル推論で使える。
この記事のポイント
- Q4_K_Mが8.82GB
- llama.cpp b11490で量子化
- ファイル毎のbits per weightを報告
数字で見る
この記事に出てくる数字
| Q4_K_M容量 | 8.82GB |
|---|---|
| Sサイズ精度維持 | 90% |
| Mサイズ精度維持 | 70% |
どこで使えるか
ローカル推論で動かしたい人向け。llama.cpp 系アプリが使える Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
10月8日にbartowskiがHugging Faceで公開したMellum2.1-12B-A2.5B-Thinkingの量子化ファイルです。元はJetBrainsが作ったモデルで、b11490というllama.cppのバージョンを使って精度を落とした形で配布しています。おすすめはQ4_K_Mで、ファイルサイズが8.82GBです。
精度を落として軽くしているんですね。その精度の落とし方には名前がついているんですか。
はい。Q4_K_MやQ6_K_Sといった名前で、数字が落とす幅を、アルファベットがサイズの大小を表しています。例えばQ4_K_Mなら、重みの大部分を4ビットで扱いますが、モデルが特に敏感に反応する部分だけ余分に精度を残す仕組みです。Sがおよそ90%、Mがおよそ70%、Lがおよそ50%を元の精度で保つという意味です。本で例えると、辞書を全部丸暗記する代わりに、重要な用語だけ丁寧に読んで、あとは大まかに流すような感じです。
辞書を流し読みする感じですね。動かす側の技術者から見ると、手元の環境は何が入っていれば動きますか。
対応するバージョンのllama.cppが入っていれば動きます。llama.appで一行コマンドを入れるだけでインストールでき、デフォルトではlocalhostの8080番ポートにチャット用の画面が表示されます。LM StudioやJan AIといった他のツールでも使えて、推奨されているファイルはQ4_K_Mで、容量は8.82GBです。
いろんなツールで使えるのは助かりますね。では、ファイルの容量は決まっているんですか。
決まった目標値はなく、各ファイルのビット数で報告しています。Q6_K_Sが小さく、Q6_Kがその中間で、Q6_K_LがおよそQ8_0の半分まで精度を戻す大きさです。以前はLが出力部分だけ特別に高精度にしていましたが、今回のファイルでは単に同じ系列の大きいサイズを指すようになりました。
前のバージョンとルールが変わったんですね。研究している人から見ると、12Bのうち2.5Bだけ使う仕組みはどこが新しいんですか。
12Bのパラメータのうち、およそ2.5Bを使う構造です。具体的なベンチマークの件数や、他モデルとの比較結果については、そこはまだ分かっていません。
12Bのうち2.5Bだけ使うんですね。では、ダウンロードの手間はどれくらいですか。
Hugging FaceのCLIをあらかじめ入れておけば、ファイル名を指定するだけでダウンロードできます。推奨のQ4_K_Mは8.82GBなので、回線の速度によりますが、一般的な環境であれば比較的短時間で完了します。具体的な通信速度や所要時間については、そこはまだ分かっていません。
確かに手軽に始められそうです。最後に、今後の展開はどうなるんですか。
これらの量子化はllama.cppリリースb11490で作られています。モデルのアーキテクチャが新たにサポートされた場合、これらの量子化を実行するにはそのリリース以降が必要です。
出典
この記事のもとになった情報
- Hugging Face:bartowski/Mellum2.1-12B-A2.5B-Thinking-GGUF
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。