AesCode-32Bの GGUF 版が公開。Q4_K_M で 20.49GB、llama.cpp で動作。
この記事のポイント
- Microsoftの32Bモデルを量子化
- Q4_K_Mがサイズと性能のバランスが良い
- llama.cpp b11490で20.49GBに圧縮
数字で見る
この記事に出てくる数字
| モデルパラメータ | 32B |
|---|---|
| Q4_K_Mサイズ | 20.49GB |
どこで使えるか
Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
bartowskiが2026-10-11に、microsoftが公開したモデルAesCode-32Bの量子化版をHugging Faceに上げました。推奨されるQ4_K_Mという形式のファイル容量は20.49GBです。
容量が20.49GBなんですね。量子化というのはモデルを圧縮する技術ですが、精度はどれくらい落ちるんですか?
精度が下がります。ただ、Q4_K_Mはサイズと性能のバランスが取れているとされています。正確にはQ4という形式で、データが圧縮された状態です。
Q4という形式というのが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
イメージとしては、辞書を必要なページだけ残して削る感じです。元データより小さくなりますが、調べたい言葉はそのまま残るので、実用上の問題はありません。
確かに!メモリが軽くなるなら現場では助かります。動かすのに必要な環境はどうなっているんですか。
専用の推論エンジンllama.cppが必要です。リリース番号はb11490以降で、llama.appから一行でインストールできます。起動すると、ブラウザでチャットができるWebインターフェースがlocalhost:8080で開きます。
一行で入ってブラウザで話せるんですね。既存のコード生成モデルと比べて、どこが新しいんですか。
今回公開されたのは、microsoftのAesCode-32Bをllama.cppで量子化し、より狭い環境で動かせるようにしたものです。
比較データはまだないのですね。開発者が手元で試す場合、ファイルの分割ダウンロードは簡単ですか。
Hugging FaceのCLIツールを使います。ファイル一覧でSplit欄がtrueになっているものは複数のパーツに分かれているので、ローカルのフォルダを指定して一括でダウンロードできます。
CLIツールで一括取得なんですね。b11490より前のバージョンでは動かない理由は何ですか。
b11490のバージョンで構造が新たにサポートされた場合、それ以前のリリースでは動かない可能性があります。
構造に合わせた専用エンジンなんですね。無事に動いた後の活用イメージは、作る側から見てどうなりますか。
llama-server の Web UI をブラウザで開いて、プロンプトを入力するだけでチャット形式で使えます。
最後に、現場で使う技術者にとって、今すぐ知りたいポイントは何ですか。
新しいアーキテクチャに対応している場合は、このリリース以降が必要になります。
出典
この記事のもとになった情報
- Hugging Face:bartowski/AesCode-32B-GGUF
- 公開日:2026-10-11
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。