Xiaomiの9BエージェントモデルMiMo-V2.6-Distill-Qwen-9B、SFTチェックポイントの公開

モデル

Xiaomiの9BエージェントモデルMiMo-V2.6-Distill-Qwen-9B、SFTチェックポイントの公開

スポンサーリンク

XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B の SFT チェックポイントが公開された。

この記事のポイント

  • 9Bのエージェントモデル
  • Qwen3.5-9BをSFTで微調整
  • SGLangで動かす

数字で見る

この記事に出てくる数字

モデルサイズ 9B
学習トークン数 77.4B
重み付きトークン 27.2B

どこで使えるか

エージェントモデルを自前で動かしたい人向け。SGLangとQwen3.5対応ビルドが要る。 Hugging Faceで公開済み

スポンサーリンク

解説

かみくだいて説明します

プラットフォームHugging Faceで公開された、小米のチーム、XiaomiMiMoが9月22日に、9BサイズのAIエージェントモデル「MiMo-V2.6-Distill-Qwen-9B」をリリースしました。Qwen3.5-9Bを基盤に、自社で生成したデータで教師あり学習を施したものです。
9Bというと、比較的軽量なモデルですね。コードを書く以外にも、どんなタスクに対応するんですか?
コーディング、汎用エージェント作業、画像付きのコーディング、それにサイバーセキュリティの四つをカバーしています。実務で使うなら、まずコード生成と安全対策の二つが使えることになります。
なるほど、実務の足掛かりになりそうです。開発元のXiaomiMiMoは、このモデルを公開する目的をどう位置づけているんですか?
エージェント領域の強化学習研究を、オープンに加速させるための出発点としてリリースしたと説明しています。学習に使用したデータ量は、教師あり学習データで合計77.4Bトークン、そのうち学習の重みがかかる部分が27.2Bトークンです。
77.4Bトークンというと、かなりの量ですね。ただ、このモデルを自分で動かす場合、どんな環境が必要になるんですか?
推論には、Qwen3.5に対応した最新のSGLangというフレームワークのビルドが必要です。トークナイザーとMiMo v2.6のチャットテンプレートもパッケージに含まれているので、追加で別途揃える必要はありません。
追加の手間は減りますね。では、研究をしている人から見ると、この公開データセットのどこが特に役立つんですか?
公開されたSFTチェックポイントが、強化学習研究の出発点として役立つから、再現の手間が省けます。
確かに、再現性が取りやすくて助かります。ただ、27.2Bトークンだけ重みが掛かっている理由が、まだ掴めません。もう少しやさしく言うとどうなりますか?
要するに、全てのデータが等しく重要ではないということです。例えるなら、試験の過去問100題のうち、特に出題傾向が反映される20題だけを重点的に解くイメージです。モデルが実際に正解を覚えるのは、その重点部分だけになります。
なるほど、重点的に鍛える部分を決めているんですね。最後に、このモデルを現場の技術者が実装する際、まだ分からない点はどこにあるんですか?
公開されているのは教師あり学習のチェックポイントのみで、その後の強化学習段階でどの程度性能が上がるかは、まだ公開されていません。開発元のXiaomiMiMoが追加の学習結果を発表するまで、そこは不明です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル