自己改善を目指す強化学習で能力を拡張する MiMo-V2.6-Pro-RL、推論環境への組み込み

モデル

自己改善を目指す強化学習で能力を拡張する MiMo-V2.6-Pro-RL、推論環境への組み込み

スポンサーリンク

MiMo-V2.6-Pro-RLが公開。強化学習で自己改善を目指す。

この記事のポイント

  • 自己改善を目指すRLモデル
  • RL計算・環境・グラダーを同時にスケール
  • 308M+127Mパラメータで公開

どこで使えるか

自己改善型のRLモデルを実装したい人向け。計算資源を同時にスケール可能 Hugging Faceで公開済み SGLangまたはvLLMでの推論推奨、ライセンスはmit

動画を見る

スポンサーリンク

解説

かみくだいて説明します

XiaomiMiMoが九月二十二日に、音声モデルの最新チェックポイントであるMiMo-V2.6-Pro-RLを公開しました。このモデルは強化学習の計算量、環境の多様性、評価の計算量を一斉に引き上げることで、モデル自身が探索とフィードバックを通じて能力を広げていく仕組みになっています。
自分自身で能力を広げていくんですか。では、作る側の技術者から見ると、いま現場で使われているやり方と比べて、どこが新しくなりますか。
構造の部分が大きく変わっています。最初の層だけグローバルな注意力で全体を広く見ますが、その次の層からローカルなSWAとグローバルなGAを交互に使い、どちらも共有しないMoEという演算素子で処理を進めます。
MoEという演算素子というのは、どういうイメージですか。そこがまだ掴めません。
正確には、各層が自分専用の計算班を持っているということです。前のモデルだと班員が共通の道具を順番で使いましたが、今回は班ごとに専用の道具を一式持っているので、互いの作業を待たずに並行して進められます。
なるほど、並行して進められるなら処理が速くなりそうです。音声の部分を詳しく言うと、エンコーダーは24層で308Mパラメータ、パッチエンコーダーは6層で127Mパラメータで、フレームの処理速度も25Hzから6.25Hzに落ちているんですね。
音声を扱う部分の他に、次の7つの単語を一度に予測するドラフターも5層で搭載されています。これによって並列で検証を進め、生成速度を上げています。
一度に7つの単語を予測するんですか。では、研究している人から見ると、これまでは何ができていなかったんですか。
強化学習でモデルを改善する際、環境の幅と評価の精度を同時に広げるのが難しかったです。今回は環境の幅、評価の精度、強化学習の計算量の3つを同時に増やす設計にしたので、モデルが自分で試行錯誤しながら限界を押し広げられるようになりました。
自分で試行錯誤しながら限界を押し広げるんですか。では、AIを使う側から見ると、手元で動かすのに何が要りますか。
Dockerのイメージが既に用意されていて、SGLangやvLLMのレシピに従って環境を構築すれば動きます。温度は1.0、top_pは0.95を推奨値として提示しています。
Dockerのイメージが既に用意されているなら、導入の手間は減りそうです。最後に、このモデルの今後の展開について、何がまだ分からないかを教えていただけますか。
公開されているのはチェックポイントと動作環境のレシピ、それにAI Studioやデスクトップ版などの利用経路だけです。MiMo-V2.6-Pro-RLはMiMo-V2.6シリーズのフラッグシップチェックポイントであり、RLの計算量、環境の多様性、グラダーの計算量を同時に拡張することで、モデルが探索とフィードバックを通じて能力の限界を広げ続けることを目指しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル