GUI操作のシミュレーション環境を画像生成で作るAutoGUIWorld、GUIエージェントの学習データを作る話

論文

GUI操作のシミュレーション環境を画像生成で作るAutoGUIWorld、GUIエージェントの学習データを作る話

スポンサーリンク

AutoGUIWorldが Ubuntu、Windows、macOS、Chrome で 79,266 個の GUI 学習データを作成。

この記事のポイント

  • GUI環境の多様性確保にコストが掛かる
  • 画像生成とプランナーで軌道データを合成
  • OSWorldで40.8%、ScienceBoardで32.2%

どこで使えるか

GUIエージェントの学習データを自前で用意したい人向け。環境構築の手間を省ける コードの公開は記載なし

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Cheng Yangらの研究チームが、10月1日にGUIエージェントの操作データ生成フレームワーク「AutoGUIWorld」をarXivに公開しました。実機のソフトウェアを動かさずに、画像生成モデルとタスク計画機能でデスクトップ画面の操作手順を自動的に作り出します。
実機のソフトをインストールしたり設定したりする手間が要らないんですね。作る側から見ると、いま現場で使われている環境構築の手順を置き換える話ですか、まだ先の話ですか。
実環境を並行して立ち上げる必要がなくなるため、OSの文脈や外観、インターフェースの状態から初期画面を指定し、計画機能が操作と次々の画面変化を定め、画像生成モデルがスクリーンショットを書き換えて次の状態を作ります。
画像が次々と書き換わって操作手順になるんですね。そこがまだ掴めません。
動画のフレームを一枚ずつ描き足すイメージです。最初の画面から、クリックやキー入力といった操作を挟みながら、次の画面を画像生成モデルが描き直していきます。これを繰り返すことで、操作から画面遷移に至るまでの一連の軌跡が完成します。
動画のフレームを一枚ずつ描き足す感じですね。従来は実機のソフトを動かす必要があったんですね。
従来は実際に多様なアプリケーションをインストールして動かす必要があり、環境の構築コストや実行コストが膨らんでいました。AutoGUIWorldはそれらを必要とせず、Ubuntu、Windows、macOS、Chromeの四つの環境で、空間座標が注釈付きのステップ単位のトレーニングデータを79,266件生成しています。
79,266件も作れるんですね。AIを使う側から見ると、実際にデスクトップ作業で使う道具のどこが変わりますか。
Qwen3.5-35B-A3Bをこのデータで学習させると、OSWorldでの平均タスクスコアが33.0%から40.8%に、ScienceBoardでのタスク成功率が14.0%から32.2%に向上しました。実機のデスクトップ作業や科学研究タスクでも、性能が底上げされます。
成功率が14.0%から32.2%に倍近く伸びるんですか。生成データの品質をどう担保しているんですか。
生成されたデータの品質を担保しているのは、操作と画面の変化の対応を検証する仕組みと、遷移ごとの品質を篩いにかけるフィルターです。この結果、実際の軌跡と遜色ない精度のデータが揃ったことになります。
実際の軌跡と遜色ない精度でデータが揃うんですね。では、次は他のOSへの対応状況はどうなっていますか。
現在はUbuntu、Windows、macOS、Chromeの四つに対応していますが、他のアプリケーションや新しいOSへの拡張計画については、そこはまだ分かっていません。
四つの環境に限定されているんですね。最後に、今後の見通しはどうなりますか。
OSWorldの平均スコアが33.0%から40.8%に、ScienceBoardの成功率が14.0%から32.2%に上がったので、生成した軌跡は実際のデスクトップ作業や科学タスクの性能を上げると言えます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文