GroundGUI-8Bが GUI 操作の視覚的推論で 8B モデル最高水準の精度を出した
この記事のポイント
- GUI操作の視覚的対応付けに高品質データが不足
- 586Kスクリーンショットのデータセットと学習手法を提案
- 8Bモデルで他手法を上回る。ただしUI-Visionは38.3%
数字で見る
この記事に出てくる数字
| スクリーンショット数 | 586K |
|---|---|
| 参照表現インスタンス数 | 633K |
どこで使えるか
GUI操作の視覚的推論を自前で構築したい人向け。8Bモデルで最高水準の精度を目指す場合 GitHubで公開済み
スポンサーリンク
解説
かみくだいて説明します
PrentisAIが、画面の操作を自然言語で指示できるGUIエージェントの学習データと学習手法を公開しました。586K枚のスクリーンショットと633K以上の指示文からなるデータセット、そして強化学習を組み合わせた新しい学習方法です。
なるほど、言葉で画面のどこを操作するかを教えるデータなんですね。
従来のデータセットはデスクトップかウェブかスマホか、いずれか一つの環境に偏りがちでしたが、今回は三つを横断して633K件以上の指示文を収録しています。テキストの読み取りから、画面内の位置関係を理解するタスク、あるいは応答しないべき拒否シナリオまで網羅しています。
拒否シナリオまで含んでいるのは、実務で使うときの安全性を考慮しているからですね。では、GUIグラウンディングという専門用語はどういう意味ですか。
正確には、自然言語の意図を画面の具体的な部品に正確に割り当てる技術です。スマホのたとえですが、アプリのアイコンを指でタップする代わりに、音声で赤い丸のボタンを押してと言ったときに、画面の中から正確にそのボタンを特定する仕組みのことです。
音声で指示して、画面が自動で該当箇所を認識するということですね。
はい、教師あり学習と強化学習を順番につなげるD2RLという手法です。教師あり学習だけでは汎用性が限られる上、強化学習だけだと報酬が得られにくい問題を同時に解決します。
報酬が得られにくいというのは、正解を教えられない場面が起きるということですね。
正確には、画面の操作という行動に対して、それが正しいかどうかの判定を自動で用意するのが難しいということです。部屋を明るくするまで何回もスイッチを繰り返すときに、毎回親が見ていてくれるのではなく、最後の一歩で初めて報酬がもらえるゲームのようなイメージです。
なるほど、試行錯誤の末にようやく正解にたどり着く訓練ですね。実際に動かしたモデルの性能はどうですか。
Qwen3-VL-8B-Instructというモデルを、まず教師あり学習で基礎を固め、次にD2RLで精密に調整したGroundGUI-8Bがそれです。5つの評価ベンチマークで、ScreenSpot-V2が95.2%、ScreenSpot-Proが63.9%、OSWorld-Gが65.4%、MMBench-GUI L2が86.8%、UI-Visionが38.3%を記録しています。
8Bのモデルで大半のテストで9割近い正解率なんですね。AIを使う側からすると、現場で使う道具のどこが変わりますか。
非常に大きいです。8B規模のモデルの中では、オープンソースのデータだけで学習した他のモデルを大きく上回り、クローズドソースのデータで学習したモデルと同等か、それ以上の性能を出しています。コードとモデル、データセットはGitHubで公開されています。
開発者が自分の環境に組み込める環境が整っているということですね。では、この手法が実用化されるにあたって、まだ解けていない課題はありますか。
38.3%にとどまったUI-Visionというベンチマークがそれです。複雑なインターフェースや、文字が小さい画面での認識精度にまだ課題が残っています。
文字が小さい画面ではまだ苦戦するんですか。最後に、開発現場でこのデータセットをどう活用していく見込みですか。
コード、モデル、データセットを公開していますので、開発者は基礎データとして使うか、あるいはD2RLの手法を別のモデルに応用するか、用途に合わせて選べる形です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。