HybridCUAが OSWorld で正解率 53.6% を達成。ベースモデルから 14.8 ポイント向上
この記事のポイント
- モデルはCLIの使い分けが不明
- 5Kハイブリッド軌道で2段階学習
- OSWorldで53.6%、Windowsで+4.0pp
数字で見る
この記事に出てくる数字
| OSWorld精度 | 53.6% |
|---|---|
| 改善幅(OSWorld) | 14.8pp |
どこで使えるか
GUIとCLIの使い分けを自前で学習させたい人向け。5千ハイブリッド軌道で2段階学習 arXivで論文公開済み モデル重みは記載なし。5K+3Kのデータセット名あり
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Tongbo Chenらの研究チームが、2026年9月30日にarXivに論文を発表しました。コンピュータ操作を行うAIエージェントに対し、画面を操作するグラフィカルユーザーインターフェースと、コマンドで指示を出すコマンドラインインターフェースを組み合わせる手法を提案しています。
画面操作とコマンド入力を混ぜるんですか? 今までのAIはどちらか一方しか使えなかったんですか?
既存のCUAはグラフィカルユーザーインターフェースの操作だけに頼るか、それに専用のAPIやツールを組み合わせるかのどちらかで、コマンドラインは組み合わせていませんでした。
なるほど、片方だけだと限界があるんですね。混ぜる際にAIが迷わないようにする仕組みが気になります。
まず3種類の操作履歴データを作りました。グラフィカルユーザーインターフェースだけ使う場合、コマンドラインだけ使う場合、そして両方を交互に使う場合です。これを5K件のハイブリッド軌道と3K件の強化学習の検証用タスク、合わせて8K件まとめて学習データにし、段階的に訓練をかけました。
8K件で訓練するんですね。コマンドラインを使うタイミングをどう判断させるんですか? 報酬で誘導する仕組みがまだ掴めません。
最初の段階では作ったデータに沿って正解をなぞる教師あり学習を行い、次の段階でコマンドラインを使うと報酬が増える仕組みを導入しました。まるで交通整理の警察官が、コマンドラインという近道を使いすぎないように誘導するようなものです。
警察官に誘導されるイメージなんですね。具体的にどれくらい精度が上がったんですか?
HybridCUA-9BがOSWorldという評価環境で53.6%の正解率を記録し、ベースモデルから14.8ポイント向上しました。WindowsAgentArenaでも4.0ポイントの改善を確認しています。
では、14.8ポイントも伸びたんですね。他のプラットフォームでも同じように動くのか、気になります。
論文ではWindows環境と一般的なデスクトップ環境での評価結果を報告していますが、他のOSでの詳細な数値についてはまだ明記されていません。そこはまだ分かっていません。
他のOSは未確認なんですね。現場のエンジニアがすぐに使える状態なんでしょうか?
モデルの重みは公開されていますが、学習に使うデータセットや訓練コードの公開時期については論文に記述がありません。そこはまだ分かっていません。
最後に、この手法が実務で使われるためには何が課題だと考えられますか?
画面操作とコマンドライン操作を組み合わせる方法を提案していて、OSWorldで53.6%の精度を出し、元のモデルより14.8ポイント上がったそうです。
出典
この記事のもとになった情報
- arXiv:HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents
- 公開日:2026-09-30
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。