AesCode-8B を llama.cpp で量子化してローカル推論で使う話

モデル

AesCode-8B を llama.cpp で量子化してローカル推論で使う話

スポンサーリンク

AesCode-8Bの llama.cpp 用量子化モデルが公開。Q4_K_M は 5.21GB で画像入力にも対応。

この記事のポイント

  • 画像入力にも対応したコードモデルの量子化版
  • llama.cpp b11490で量子化し、マルチモーダル対応ファイルも同梱
  • 各種ランタイムで動作し、ブラウザUIも標準搭載

数字で見る

この記事に出てくる数字

モデルサイズ 8B
ファイルサイズ 5.21GB

どこで使えるか

ローカルでマルチモーダルなコードモデルを動かしたい人向け。ブラウザUIも標準搭載 Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

bartowski が Hugging Face へ、microsoft の AesCode-8B をローカルで動かせる量子化モデルとして公開しました。推奨の Q4_K_M は 5.21GB です。
5.21GB なら手元のパソコンでも入りそうですね。量子化というのは、モデルの重みを圧縮する技術なんですか。
そうです。映像や音声のデータで高画質とファイルサイズのバランスを取る時、画質を少し落として容量を減らすのと同じ理屈です。精度を維持しつつ、必要な計算量を減らしています。
なるほど。では、このモデルを動かすのに必要な環境は決まっているんですか。
ソフトによっては対応していない場合もあります。llama.cpp のリリース b11490 以上が必要なのは、モデルのアーキテクチャが新たにサポートされた場合のみです。
複数のソフトに対応しているのは助かりますね。画像を入力できるんですか。
画像入力にも対応しています。モデル本体とは別に、mmproj-AesCode-8B-bf16.gguf と mmproj-AesCode-8B-f16.gguf という射影ファイルが同梱されています。これを読み込めば、テキストだけでなく画像も解釈できます。
射影ファイルというのは、画像とテキストをつなぐ翻訳機のようなものですか。
正確には、画像をモデルが理解できる数値の並びに変換する中継役です。テキストだけだと通じない情報を、数値の形で渡すことで両方に対応させています。
では、ローカルで動かす時の画面はどうなるんですか。
llama-server にはチャット用のウェブ画面が built-in されていて、デフォルトで localhost の 8080 番ポートで開きます。
最後になりますが、このモデルの精度は元の microsoft の AesCode-8B と比べてどのくらい落ちるんですか。
そこはまだ分かっていません。公開されているのは量子化の手法と対応ソフトの情報だけで、ベンチマークの比較データは添付されていません。
では、次は対応するハードウェアのメモリ容量について聞きたいです。
Q4_K_Mは5.21GBのメモリ容量です。画像入力にはmmproj-AesCode-8B-bf16.ggufやmmproj-AesCode-8B-f16.ggufという射影ファイルが必要です。これらも合わせて容量を確認してください。
最後に、今後どのようなアップデートが見込まれるんですか。
今後については、llama.cppのリリースb11490で量子化されたモデルが提供されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル