GUI操作の失敗からスキルを改善する EvoSkill-GUI、3ベンチで性能を上げる話

論文

GUI操作の失敗からスキルを改善する EvoSkill-GUI、3ベンチで性能を上げる話

スポンサーリンク

EvoSkill-GUIが 3ベンチで最大 16.2% 性能を上げた。

この記事のポイント

  • 従来スキルは静的で更新不可
  • 実行フィードバックで自己改善
  • 3ベンチで最大16.2%向上

数字で見る

この記事に出てくる数字

OSWorld改善率 +10.5%

どこで使えるか

GUIスキルを自動改善したい人向け。静的スキルに悩む人向け。 GitHubで公開済み 3ベンチマークで最大改善率を記録

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Bofan Chen さんらの研究チームが、GUI 上で動く人工知能のスキルを、追加学習なしに実行中のフィードバックだけで改善する「EvoSkill-GUI」をarXivに公開しました。三つのベンチマークで最大 16.2% の性能向上を確認しています。
実行中に改善するんですか。これまでスキルは事前に全部作って持たせていたんですね。
そうです。これまで既存の枠組みは、スキルを一度作るとデプロイ後はずっと変わらない静的なものと見なしていました。今回の研究で指摘されているのは、ポップアップの出現や読み込みの遅れ、ウィジェットの位置が変わる動きによって、事前に立てた計画がすぐに外れてしまう点です。
事前に立てた計画が外れると、そのままでは進めなくなるわけですね。では、現場で組み込む技術者から見ると、これは動く条件や置き換えの手間が加わる話ですか、それとも既存の仕組みの上に乗せるだけですか。
既存の仕組みの上に乗せる形です。各スキルは検索用のメタデータ、実行計画、失敗時の回復ルール、失敗例などをまとめた複数のファイルで構成されます。実行中に起きた変化を即座に修正します。失敗した経路を独立した判定役が厳密に情報を遮断した状態で診断し、その結果を特定のファイルに書き戻すループを回します。
厳密に情報を遮断した状態で診断するんですか。正解を見せないで原因を特定するわけですね。もう少しやさしく言うとどうなりますか。
試験会場で答案だけを提出して、外部の通信や資料を使えない状態にするイメージです。失敗した経路だけを見せ、他の経路の情報や正解に触れさせずに原因を特定します。そうすることで、その失敗だけに特化した回復ルールを正確に書き換えることができます。
なるほど、正解を見せないからこそ、本当にその場面で起きた問題に対応できるんですね。関連する別のタスクでも、新しく作り直さずに使い回せるんですか。
そうです。一度進化させたスキルライブラリは、似たタスクに対しても再構築なしに効果を発揮します。三つのベンチマークすべてで複数の基礎モデルを改善できており、AndroidWorld では最大 6.0%、OSWorld では最大 10.5% の向上を確認しています。
特定のファイルに書き戻すんですか。書き換えられる範囲が決まっているんですね。
制限されたツールインターフェースを通じて、特定のファイルだけを編集する形です。計画の書き換えや回復ルールの追加はできますが、ファイル構造そのものを変えたり、他のスキルの内部を参照したりすることはできません。
最後に、この枠組みはコードが公開されるんですか。まだ使えない部分があるんですね。
コードはGitHubで公開されています。MobileWorld、AndroidWorld、OSWorldの3つのベンチマークで評価され、最大でそれぞれ16.2%、6.0%、10.5%の向上が確認されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文