UI操作のAI MintAct、2Bから8Bのモデルで複数ドメインを統一する話

論文

UI操作のAI MintAct、2Bから8Bのモデルで複数ドメインを統一する話

スポンサーリンク

MintActが、複数ドメインのUI操作で専門モデルに迫る性能を出した。

この記事のポイント

  • マルチドメインの視覚エージェントが統一されていなかった
  • 2Bから8B規模でUI操作とツール利用を統合訓練した
  • 同規模の専門モデルに匹敵する性能を得た

数字で見る

この記事に出てくる数字

モデル規模 2B, 4B, 8B
OSWorldスコア 48.9

どこで使えるか

複数ドメインのUI操作を自前で統合したい人向け。専門モデル並みの性能を統一モデルで得られる 論文記載なし 環境構築とRLインフラの詳細は論文内

動画を見る

スポンサーリンク

解説

かみくだいて説明します

AIエージェントがスマホからPC、Webまで跨いで操作できるのは嬉しいですが、結局ドメインごとに別モデルを使うんですよね?
確かに、従来のモデルは各ドメインごとに特化していました。MintActは2B、4B、8Bのスケールで、複数のドメインを統合したモデルとして開発されています。
だとすると、複数ドメインを同時に学習するのは非常に難しくないですか?
確かに学習データの分布が偏りやすく、特定の環境に過学習する傾向が否めませんが、今回紹介する手法はそれを解決する設計になっています。
arXivで公開されたMintActは、2Bから8Bサイズのビジョン言語モデルファミリーです。マルチステップナビゲーションとビジュアルツール利用を統一学習します。
そのアプローチって、具体的にはどういう仕組みなんですか?
数百の並列環境インスタンスを異種バックエンドで運用し、オンライン強化学習と軌道データ収集を同時に行います。非同期フレームワークがドメイン横断の学習分布を明示的に制御するため、ノイズの多い環境フィードバックやオフポリシードリフトが起きても安定します。
環境からの雑音があっても安定して学習できる設計なんですね!
専門モデルと同等の性能が出ると言いますが、具体的な数値はどのくらいなんです?
OSWorld-Verifiedベンチマークで48.9を達成し、既存のドメイン特化型モデルと同等以上のスコアを記録しています。モデルサイズも2Bから8Bで比較可能な範囲です。
2Bモデルでもこれだけ精度が出るとは驚きです。従来手法と比べるとどれくらい違うんですか?
環境やデータ、トレーニング手法の設計を徹底することで、各ドメインの専門モデルに匹敵する性能を達成しています。
でも、特定の強化学習環境に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。MintActは2B、4B、8Bの3つのスケールで訓練され、各ドメインの専門家と同等の性能を達成しています。
実際の試し方はどうすればいいんですか?
環境やデータ、トレーニングレシピの設計に注力し、2Bから8Bスケールのモデルで専門モデルに匹敵する性能を実現しました。
非同期フレームワークで安定した学習を実現し、最先端の性能を達成しました。
2Bから8Bのモデルで多機能エージェントが実現されていますね。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文