27Bクラスの推論を3値量子化で圧縮するBonsai、llama.cppで使う話

モデル

27Bクラスの推論を3値量子化で圧縮するBonsai、llama.cppで使う話

スポンサーリンク

Ternary-Bonsaiが、約9.3倍小さく98.2%の性能を維持してllama.cppで使える

この記事のポイント

  • 27B級推論をternary重みで実現
  • FP16比約9.3倍小型化し98.2%知能保持
  • Apple M5 Maxで約47tok/s、llama.cpp対応

数字で見る

この記事に出てくる数字

削減率 ~9.3x
知能保持率 98.2%
ビット数 1.72bits

どこで使えるか

27B級モデルをローカルで動かしたい人向け。ストレージとメモリを大幅に削減できる Hugging Faceで公開済み M5 Maxで47tok/s。26.2Mパラは高精度

スポンサーリンク

解説

かみくだいて説明します

prism-mlが9月17日に、llama.cppで動く27Bクラスの推論モデル「Ternary-Bonsai-2」を公開しました。重みを-1、0、+1の3値で表す仕組みで、FP16と比べておよそ9.3倍小さく、知能は98.2%を維持します。Apple M5 MaxのノートPCではおよそ47 tok/sの速度が出ます。
3値だけでそれだけの性能を維持するんですか。どうやって情報を圧縮しているんですか。
重み128個ごとにFP16のスケール因子を1つ共有しています。128個の重みを1つのグループに見立て、グループ全体の音量を調整するノブが1つあるイメージです。3値1つがおよそ1.585ビットの情報量を持つので、全体で1.72ビット/重みになります。従来の「2ビット」表記が実際の2.8ビット/重みより正確に数字が合うのが特徴です。
数字と名前が一致するというのは分かりやすいですね。圧縮したデータを解凍する手間はどうなっていますか。
2つのパック形式を用意しています。PTQ1_0は情報を理論値に近い密度で詰め、PQ2_0は1つの3値を2ビットの枠に収めて解凍を軽くしています。速度はケースバイケースで、PTQ1_0が速い場面とPQ2_0が速い場面が分かれています。
現場でAIを組み込む技術者から見ると、どちらを選べば組み込みやすいんですか。
組み込みやすさは使われるハードウェアやカーネル次第です。画像認識の部分はQ8_0ファイルで別管理にして、テキストだけ扱うときはメモリに載せない設計になっています。
画像部分は使わないときは載せないんですね。重みの回転処理はモデル側に組み込まれているんですか。
組み込まれています。直交ハダマード回転をオフラインで重みに折り込み、ファイルのメタデータで回転情報を公開しています。読み込み時に一致する変換を適用するか、拒否するかを選べる仕組みです。
変換を間違えると読み込めないというのは安全側ですね。残りの高精度部分はどれくらい残っているんですか。
26.2Mパラメータが高精度のまま残っています。言語モデル全体の0.0976%で、線形注意層の再帰状態パスと正規化の重みが対象です。
0.0976%だけ高精度で残すというのは、ほとんどを圧縮して残りの部分で性能を支える設計なんですね。速度と精度のバランスをどう測った結果なんでしょうか。
そこはまだ分かっていません。生成には推奨されるサンプリングパラメータが提示されていますが、具体的な数値やベンチマークの詳細については現時点で公開されていません。
ベンチマーク表で各フォーマットの速度特性が示されており、用途に応じた選択が可能となっています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル