GUI操作のスキルを抽出するWork2Skill、エージェントのタスク成功率を上げる話

論文

GUI操作のスキルを抽出するWork2Skill、エージェントのタスク成功率を上げる話

スポンサーリンク

Work2Skillが、エージェントのタスク成功率を最も高くした

この記事のポイント

  • 不慣れなGUIタスクに弱い
  • 同期データとスキル誘導法を提案
  • 4モデルで最高。ただし数値は限定的

数字で見る

この記事に出てくる数字

OSWorld改善 3.11--7.50

どこで使えるか

GitHubで公開済み コードとデータは同一レポジトリ

スポンサーリンク

解説

かみくだいて説明します

Yuqi Huangらの研究チームが、2026-10-09に人工知能がデスクトップ画面の操作を学ぶための新しい枠組み「Work2Skill」を発表しました。操作の記録を収集する「WorkRecorder」と、350本の人間の操作動画とマウス、キーボードの記録をまとめたデータセット「WorkDemo-350」を同時に公開しています。
なるほど、人間の操作をそのまま人工知能に教えるんですね。研究する人から見ると、これまでの手法とどこが違いますか。
従来は一つ一つの作業を個別に指示する必要がありましたが、この手法は手順の順番や完了の判定条件を自動的に取り出します。料理のレシピで言えば、材料の量だけでなく火を止めるタイミングや味見をする工程までルールとして抽出するイメージです。
火を止めるタイミングや味見の工程まで、レシピの工程全体をルールとして取るんですね。公開されているコードとデータセットを使えば、画面の記録から直接ルールを導出できるとのことです。
正確には記録から誘導したスキルを、対象のソフトウェアに組み込む形です。記録にはマウスやキーボードの操作に加え、アクセシビリティツリーと呼ばれる画面の情報も含まれます。専門用語で言えば画面のボタンやテキストの位置を機械が読み取れるように整えたデータですが、要するに人工知能が画面を眺めたときに、どこをクリックすればいいか分かる地図のようなものです。
人工知能が画面を眺めたときにどこをクリックするか分かる地図なんですね。評価結果の数字を教えてください。どのくらい向上したんですか。
2つの評価基準で確認しています。MyPCBench Bounded Actionでは4.67から10.54ポイント、OSWorld-Verifiedの286タスクの部分集合では3.11から7.50ポイントの向上です。同じ実行モデルで比較した場合、最も高い成功率を記録しています。
確かに大幅な向上ですね。既存のツールを置き換えるのではなく、記録から新しい手順を作るんですね。
その通りです。既存のツールに置き換わる話ではなく、人間の操作記録からスキルを誘導する枠組みであり、未知のソフトウェアでも手順を再利用できる点が特徴です。
未知のソフトでも手順を再利用できるんですね。AIを自分で使う側から見ると、このルールは既存のツールと置き換わる話ですか。
350件のデータセットは完全性と課題成功で選別されており、同じ4つの実行モデルに各手法由来のスキルを与えて比べ、Work2Skillが最も高い点数と成功率を示している。
最後に、まずは公開された資料で実際に試してみるのが近道ですね。
引き続き動向を見守ります。まだ解けていない課題もありますので、結果が出次第お伝えします。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文