SoftwareGymが合成 GUI 環境で CUA を訓練し、未知ドメインのタスク成功率を上げた。
この記事のポイント
- 合成環境の構築が手間で、ブラウザ型は深度が浅い
- 182アプリを自動生成し、120タスクで訓練
- OSWorldでPass@3が41.39%から56.97%に向上
数字で見る
この記事に出てくる数字
| 生成アプリ数 | 182 |
|---|---|
| GUIタスク成功率 | 91.5% |
どこで使えるか
GitHubで公開済み 星3でフォーク数に注意
動画を見る
スポンサーリンク
解説
かみくだいて説明します
研究チームが SoftwareGym という自動生成パイプラインを発表しました。12 のジャンルにわたって 182 のソフトウェア環境を自動で作成し、その平均タスク成功率は 91.5% に達しています。
12 のジャンルで 182 個も自動で作れるんですか。作る側からすると、これまでブラウザで動く簡易な環境しか使えなかったのが、本物のアプリに近い形で使えるようになったということですか。
そうです。従来のブラウザ環境では操作の深さが足りなかったため、画面のデザインを構造的に変えながら実行可能なアプリケーションを生成し、画面の評価と修復を繰り返すことで機能の信頼性を担保しています。
画面のデザインを変えながら修復を繰り返す、つまり自動でバグ取りをさせるんですね。その環境で訓練したモデルの性能は、どれくらい上がるんですか。
厳密にドメイン外とされる OSWorld のベンチマークで Pass@3 が 41.39% から 56.97% に改善し、自作の SoftwareGym-Bench では 12 のジャンル 120 課題で 40.0% を達成しています。
41.39% から 56.97%、およそ 15ポイントの引き上げですね。訓練に使うデータは、その自動生成された環境でモデルが実際に動かした記録ですか。
そうです。環境内でモデルがタスクをこなした軌跡、つまり生徒がノートに書いた解き方の手順のようなものです。
解き方の手順を教材にする、つまり練習問題の解き方を覚えさせるんですね。
正確にはその通りです。これにより、生成された環境でしか通用しない過学習を避け、未知のソフトウェアでも対応できる汎用性を高めています。
では、研究する側から見ると、これまでは何ができていなかったんですか。
ブラウザ環境は操作の深さが限られていましたが、SoftwareGymは構造的に多様なデザインを生成し、GUI評価と反復修復で機能の信頼性を確保します。
操作の深さが限られていたのが、自動生成で補えるんですね。最後に、この技術が実用化されるのはいつ頃だと見られていますか。
具体的なスケジュールについては材料に記述がないため、そこはまだ分かっていません。まずはコードの公開をきっかけに、研究コミュニティで検証が進むのを待つのかもしれません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。