MiMo-V2.6-Flash-RLが公開。自己改善を狙う強化学習のスケーリングに対応。
この記事のポイント
- 自己改善型RLを目指すモデル
- SWAとGAを交互に使いSparse MoE FFNを採用
- AI StudioやAPI等多数の公開先がある
数字で見る
この記事に出てくる数字
| RVQコードブック数 | 20 |
|---|
どこで使えるか
自己改善型RLの環境構築やAPI利用を検討する人向け。 Hugging Faceで公開済み SGLang推奨。vLLMはpre-built image利用可
動画を見る
スポンサーリンク
解説
かみくだいて説明します
中国のXiaomiMiMoが、2026年9月22日にリインフォースメントラーニングの効率を重視したモデル、MiMo-V2.6-Flash-RLを発表しました。音声のエンコーダーだけで308Mと127Mの2つのパラメータ数を持ち、7つのトークンを一度に予測する5層のドラフターを組み合わせているのが特徴です。
7つのトークンを一度に予測する仕組みなんですね。これは開発者が組み込む段階で、すでに動いているモデルを置き換える話になりますか?
すでに公開されているSGLangやvLLMという推論フレームワークで動かすことを前提に設計されています。ただし、推奨されるサンプリングの設定として温度パラメータが1.0、top_pが0.95と指定されていますので、環境に合わせて調整が必要な場合があります。
SGLangとvLLMで動かせるんですね。内部の構造で局所的な注目と全局的な注目を交互に使う理由は何ですか?
文脈の近い部分と遠い部分を分けながら処理するため、計算量を減らしつつ情報を逃さなくする設計です。例えば長い文章を読むとき、直前の単語を細かく見ながら、同時に全体のテーマを頭に入れておくイメージに近いです。
計算量を減らす代わりに、精度が落ちる心配はないんですか?
自己改善を目的として学習を進めているため、探索とフィードバックを繰り返す中で能力の範囲を広げる構造になっています。環境の多様性とグラダーの計算量も一緒にスケールさせていますので、効率と性能のバランスを取る方針です。
効率と性能のバランスを取る方向なんですね。実際に動かすのに必要なDockerイメージは、どこから入手できるんですか?
SGLangを使う場合はlmsysorg/sglang:latest、vLLMを使う場合はvllm/vllm-openai:mimov25-cu129というイメージが準備されています。API経由で使う場合も、Xiaomi MiMo Open Platform APIやOpenRouterからアクセスできます。
SGLangとvLLMの2つのイメージが用意されているんですね。音声のフレームを6.25Hzに落とす処理は、どのくらいの速度向上につながりますか?
4フレームを1つのパッチとしてまとめるため、処理する回数は4分の1になります。ただし、正確な速度の数値については、ここには記載がありません。
処理回数が4分の1になる仕組みなんですね。最後に、このモデルはどのような用途で使うのが適しているんですか?
音声のエンコーダーとドラフターを組み合わせた構造ですので、音声関連の推論負荷を減らす用途に適しています。ただし、具体的なベンチマークの数値や、他のシリーズとの比較データについては、そこはまだ分かっていません。
出典
この記事のもとになった情報
- Hugging Face:XiaomiMiMo/MiMo-V2.6-Flash-RL
- 公開日:2026-09-22
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。