MiniCPM-V 4.7 35B-A3Bが、オンデバイスで 13 トークン/秒以上の推論を達成した
この記事のポイント
- 35B-A3BのMoEモデルを端末で動かす
- Qwen3.6 35B-A3Bより短い時間で高スコア
- iPhone 17 Pro Maxで13+ tokens/s
数字で見る
この記事に出てくる数字
| モデルパラメータ | 35B-A3B |
|---|
どこで使えるか
オンデバイスでMoEモデルを動かしたい人向け。端末メモリに収まらない重みを効率的に扱う手法が要る Hugging Faceで公開済み iPhone 17 Pro Maxで13+ tokens/s
スポンサーリンク
解説
かみくだいて説明します
openbmbが先月七日に公開した画像や動画が理解できるAIモデル、MiniCPM-V 4.7の35B-A3Bという版です。MoEという仕組みを使い、パラメータは合計35Bありますが、一度に動くのはおよそ3Bだけです。iPhone 17 Pro Maxで秒間に13以上のトークンを処理でき、性能を落とさず端末上で動かせるオープンソースモデルとして初めて確認されています。
35Bと3B、この差は何ですか?
35Bはモデルが覚えている知識の総数で、3Bは文章を一つ生成するときに実際に使う部分です。例えば辞書全体が35Bページある中で、ある一文を書くときに見るのは3Bページだけのようなイメージです。これによって端末のメモリが足りなくても、必要な部分だけ読み込んで処理できます。
読み込みの遅さは、どう解決したんですか?
既存の方法ではプロンプト全体で使う専門家を固定すると、モデル本来の判断を制限してしまう恐れがありました。openbmbのチームは層ごとに対象の専門家を柔軟に選べるように設計し、メモリに載せきれない重みも必要なときだけ読み込む仕組みを組み合わせました。その結果、Qwen3.6 35B-A3Bと比べて、指示に従うモードでより高い総合スコアを短い推論時間で達成しています。
技術者が見ると、現場の組み込みは容易ですか?
35B-A3Bはオンデバイスで13以上のトークン/秒を達成し、iPhone 17 Pro Maxでスムーズに動作します。これはメモリと帯域幅の制限下でもパフォーマンスを損なわない最初のオープンソースMoEモデルです。
動画の理解も同じ速度で動きますか?
動画を含む単一画像、複数画像、動画の理解に対応していますが、動画処理ではフレーム数が増えるため推論時間が伸びます。秒間13以上の速度は静止画や短いクリップでの実測値です。動画での正確な速度や、長尺動画での限界については、現時点で公開された数値にありません。
では、研究する人から見るとどこが新しいんですか?
性能と効率の両立を測る基準を更新した点が新しいです。MoEモデルを端末上で動かす際、速度を落とさずに能力を維持するのはこれまで難しかった分野ですが、今回の35B-A3Bはそれが初めて確認されています。iPhone 17 Pro Maxで13トークン/秒以上の推論速度を達成し、オープンソースMoEモデルとして初めて端末上でのスムーズな動作を実現しています。
最後に、実用化の見通しはどうですか?
iPhone 17 Pro Maxで13トークン/秒以上の速さで動き、性能を落とさずにデバイス上でなめらかに動く初のオープンソースMoEモデルです。
出典
この記事のもとになった情報
- Hugging Face:openbmb/MiniCPM-V-4.7-35B-A3B
- 公開日:2026-10-07
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。