自分の操作から学ぶ画面操作エージェント、多手順の操作へ自己蒸留を広げ成功率で先行手法を上回る

論文

自分の操作から学ぶ画面操作エージェント、多手順の操作へ自己蒸留を広げ成功率で先行手法を上回る

スポンサーリンク

GUI-SD-v2が、評価した最先端手法の成功率を Pass@1、Pass@3 で上回った。

この記事のポイント

  • 既存のOPSDは特権追従能力とガイダンス不足で拡張が妨げられていた
  • 2段階学習でロールアウトと特権条件付き教師による段階的蒸留を適用
  • AndroidWorldとMobileWorldのPass@1とPass@3で評価済みSOTAを上回る

数字で見る

この記事に出てくる数字

ベンチマーク数 2

どこで使えるか

多手順の画面操作で成功率を上げたい人向け。2段階学習でロールアウトと蒸留を改善。 コードと学習データは公開予定 AndroidWorldとMobileWorldで評価済み

スポンサーリンク

解説

かみくだいて説明します

GUIエージェントが複雑な操作をこなすには、長い会話履歴を記憶しながら一歩ずつ推論するんですよね?
確かにその通りです。マルチターン操作ではステップごとの判断とタスク関連情報の保持が必須になります。
既存のオンポリシー自己蒸留手法は、なぜ私たちが扱うマルチターンには届かないんですか?
従来手法はGUIの要素特定には強いですが、自身の特権情報に従う能力が不足しており、長い会話文脈での指導が不十分だからです。
そこでarXivに公開されたGUI-SD-v2が、二段階学習フレームワークでこの課題に挑みます。
そのアプローチって、具体的にはどういう仕組みなんですか?
第一段階で同じGUI状態から特権有無のロールアウトを同時に最適化し、第二段階でステップ固有の推論とメモリ保持を条件付き教師から選択的に蒸留します。
記憶の保持と判断の分離を別々に最適化するんですね!
実際の性能向上はどういった数値で確認されているんですか?
AndroidWorldとMobileWorldで評価したところ、Pass@1とPass@3の成功率が既存のOPSDベースラインと同等以上で、評価された最先端手法を確実に上回っています。
でも、特定のベンチマークに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。特権情報に依存する教師モデルの品質次第であり、汎用的なGUI環境への適用にはまだ設計コストが残ります。
実際に私の方で動かすにはどうすればいいんですか?
論文の要旨にはコードと学習データが公開される予定とあるだけで、具体的な公開時期やローカル環境での構築手順については言及がない。
実験結果は肯定的ですが、コードとデータ公開への期待は大きいですね。
コードとトレーニングデータが公開されるのを楽しみに期待しています!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文