MiniCPM-V-4.7 35B-A3B の GGUF 版、スマホで動かすための最適化

モデル

MiniCPM-V-4.7 35B-A3B の GGUF 版、スマホで動かすための最適化

スポンサーリンク

MiniCPM-V-4.7 35B-A3Bが GGUF 版で公開。iPhone で 13 トークン/秒の推論が可能

この記事のポイント

  • 35B-A3BのMoEモデルをデバイス上で動かす
  • 13+ tokens/sをiPhone 17 Pro Maxで達成
  • 35Bパラメータ、GGUF形式で公開

数字で見る

この記事に出てくる数字

モデル規模 35B-A3B

どこで使えるか

iPhone 17 Pro Maxで13+ tokens/s。デバイス上でMoEモデルを動かしたい人向け Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

openbmbが十月七日に公開した画像と動画を読み取るモデル、MiniCPM-V-4.7-35B-A3Bのローカル向け版です。このモデルはパラメータの合計が 350億あるのに、一度に使うのは 3億だけという MoE、専門には混合专家モデルという仕組みを初めて取り入れています。
全部を使うわけじゃなくて、必要な部分だけを選んで動くんですか。
そうです。ただ、選ぶ仕組みがあるだけで、実際にスマホの中で動かすのは別の苦労があります。 350億分の重みを全部持てないから、使わない部分を別の場所から呼び出す必要がありますが、何度も読み書きを繰り返すと処理が遅くなって、リアルタイムのやり取りには耐えられなくなります。
呼び出しの回数を減らす工夫をしたんですか。
呼び出しの回数を減らす方法と、性能を落とさない方法の両立を図りました。その結果、iPhone 17 Pro Maxで毎秒 13 トークン以上の処理速度を達成しています。トークンというのは文章を細かく区切った単位で、この速度なら人間が話す速さに近い滑らかな応答が期待できます。
開発者が自分の端末で動かすとき、特別な環境は要らないんですか。
専用のサーバーやクラウドを通さずに、端末単体で完結します。既存の llama.cpp という読み込み規格に対応しているため、開発者はすでに使っているツールチェーンのままで組み込みが可能です。
性能と効率のバランスは、これまでのモデルと比べてどう変わったんですか。
性能を落とさずに効率を上げる、パレート効率曲線を大きく前に進めました。これまではメモリが少ない端末では特定の専門部分だけを固定して能力を削るか、全部読もうとして速度が落ちるかどちらかでしたが、今回の三つの技術でその両立を実現しています。
動画の読み取りも、同じ速度でできるんですか。
できます。一枚の写真から複数の画像、そして動画の流れまで、同じモデルで処理します。ただし、動画の場合はフレーム数が増える分、計算量が多くなるため、長時間の映像での速度変化については材料に具体的な数値がありません。そこはまだ分かっていません。
最後に、開発現場ではこのモデルをどう位置づけて使うのがいいんですか。
モデルは一枚の写真から動画まで同じ構造で処理でき、オンデバイスでの推論も可能ですが、35B-A3BというMoE構成のため、メモリと帯域の制約下でのスムーズな実行が課題となります。
今後の展開で特に注目すべき点はどこですか。
公開されているのはGGUF量子化版で、元のBF16版の重みと完全なモデルカードはopenbmb/MiniCPM-V-4.7-35B-A3Bを参照する形になっています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル