MiMo-V2.6、大規模強化学習で自己改善を目指す手法、モデルの能力向上

論文

MiMo-V2.6、大規模強化学習で自己改善を目指す手法、モデルの能力向上

スポンサーリンク

MiMo-V2.6、1M 長のマルチモーダルモデルを強化学習で自己改善

この記事のポイント

  • 大規模RLでモデルを自己改善させる方法が不明だった
  • 1568サンプルで1Mコンテキストの非同期学習を構築
  • 1,568サンプル、2.7-3.7Bトークンで学習可能

数字で見る

この記事に出てくる数字

最大コンテキスト長 1M

どこで使えるか

1Mコンテキストの自己改善を自前で試す人向け。1568サンプルで学習可能 論文で公開済み 1Mコンテキスト長時のみ2.7-3.7B tokens/step

スポンサーリンク

解説

かみくだいて説明します

小米のLLMコアチームが、2026年10月8日に強化学習の規模を拡大してモデルの自己改善を目指す「MiMo-V2.6」シリーズの技術報告を公開しました。
現場の技術者が実際に組み込む段階に来ているんですか?
まだ組み込みの段階ではなく、学習の基盤をどう大きくするかを研究している段階です。1ステップあたりの処理量として1,568個のサンプルと2.7-3.7Bトークンを非同期で扱い、最大1Mの文脈長まで対応しています。
1Mの文脈長も扱えるなら、コードから画像まで横断するんですか。
はい。コード、一般タスク、視覚、サイバーの4つの領域を混ぜ合わせて環境を作り、モデルが自分で行動するエージェントの枠組みで試しています。
複数の領域を混ぜると学習がぶれる心配はありませんか。
ぶれないように、モデルが複数の専門モデルから答えを選ぶ切り替え盤、ルーターを固定して、報酬の操作を防ぐ防御を何重にも設けています。
ルーターを固定するというのは、具体的にはどういう意味ですか。
切り替え盤のスイッチを、学習中は動かさないということです。切り替え盤を固定することで、モデルが報酬だけを狙った偏った学習に走らないようにしています。
報酬を狙った偏った学習を防ぐなら、評価の仕組みも厳しくしているんですか。
複数のエージェントが互いに採点するグループ採点を使い、長いタスクでも正確な報酬信号を出しています。これによってモデルは、できるだけ短い手順で正解にたどり着く方向に誘導されています。
評価の精度が上がれば、実務で使える品質も変わりますか。
学習の動き、強化学習の環境、学習の仕組みをオープンソースで公開し、再現と研究を後押ししている。
最後に、実務への応用でまだ解けていない点はどこですか。
報酬ハッキングを防ぐ仕組みを層にして作り込み、学習を大規模にしても安定するようにしました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文