Edge0-35B-A3B-preview、3GiBのメモリで動くSparse MoEモデル

モデル

Edge0-35B-A3B-preview、3GiBのメモリで動くSparse MoEモデル

スポンサーリンク

Edge0-35B-A3B-previewが公開。3GiB で動作し、ベースモデルとの性能差は平均 3.9 ポイント。

この記事のポイント

  • 35BクラスのMoEモデル
  • 3GiB以下のメモリで動作
  • Mac mini M4 Proで24GB使用

数字で見る

この記事に出てくる数字

メモリ使用量 3 GiB
推論速度 15 tok/s
精度低下 3.9 points

どこで使えるか

3GiBで動かしたい人向け。Mac mini M4 Proで動作確認済み Hugging Faceで公開済み edge0専用。int4+LoRA+prerouter

スポンサーリンク

解説

かみくだいて説明します

9 月 8 日に Edge0 が公開した Edge0-35b-a3b は、35B の MoE というタイプの言語モデルで、動作に必要なメモリはおよそ 3 GiB です。1 秒間に 15 tok/s の速度で処理でき、精度は 4 ビットに圧縮されています。
3 GiB というと、いまのスマートフォンでも十分動く容量ですね。MoE という仕組みは、専門のパートごとに分工するイメージでいいんですか。
そうです。専門のパートごとに分工する仕組みに、LoRA という軽い追加層と、prerouter という案内役の部品を組み合わせています。LoRA はもとのモデルに薄いシールを貼って軽くする技術で、prerouter はどのパートに渡すかを決める案内板です。これらはモデル本体と一緒に自動で読み込まれますから、手動で設定を変える必要はありません。
部品が自動で入るのは便利ですね。精度の落ち幅はどれくらい見ているんですか。
基準となるfp16モデルと比べて、平均で3.9ポイントのロスです。最大100の評価でも、この範囲に収まっています。
3.9 ポイントなら実用レベルと言えそうです。では、長い文章を扱う場合、メモリはどのように増えるんですか。
長い文章になると、KV キャッシュという形で追加のメモリを使います。KV キャッシュは、すでに処理した文章の情報を一時的にメモしておく帳簿のようなものです。Expert の重み自体は SSD から必要に応じて読み出す仕組みで、常にメモリに積んでおく必要はありません。
SSD から読み出すなら、本体のメモリ容量に縛られずに済みますね。テストはどの環境でやったんですか。
Mac mini M4 Pro の 24 GB の環境で、OpenCompass というベンチマークツールを使って測定しています。評価条件は比較対象のモデルと同じ設定で統一しています。
条件を揃えて測るのは信頼性が高いですね。では、いま現場でこのモデルを組み込む場合、動くのはまだ先の話ですか。
現時点ではプレビュー版です。int4 の量子化と LoRA、prerouter のアダプターが含まれたディレクトリが公開されていますから、Python の API で直接動かすことは可能です。
最後に、長い文章を扱う時の KV キャッシュの増加分は、まだ具体的な数値が出ていますか。
そこはまだ分かっていません。公式のドキュメントに詳しい仕様が出ていますから、そちらで確認してください。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル