視覚とプログラムを併用するコンピュータ操作AI OpenGCUA、全スタックを公開

論文

視覚とプログラムを併用するコンピュータ操作AI OpenGCUA、全スタックを公開

スポンサーリンク

OpenGCUAの全スタックを公開。OSWorld-v2で平均部分正解点が19.6ポイント向上

この記事のポイント

  • 閉鎖系で設計の検証が難しかった
  • コード実行と意思決定をモデルに移行
  • 8モデルで平均+19.6点。ただし実機では差あり

どこで使えるか

GUIだけでなくコード実行も使ってタスクを完遂したい人向け。モデルが判断を担い、中間結果で次の操作を決める コード・プロンプト・評価軌跡を公開済み 実機ハーネスとSDKはプレリリース版

スポンサーリンク

解説

かみくだいて説明します

Hanzhang Zhouらの研究チームが、10月16日に一般型コンピュータ操作エージェントのフルスタックを開発するプロジェクト、OpenGCUAの最初のリリースを発表しました。
一般型コンピュータ操作エージェント、つまりGCUAという仕組みですね。画面を操作するだけでなく、プログラムも使えるということですか?
はい。従来のシステムは画面のボタンやテキストボックスだけをなぞる形でしたが、OpenGCUAではモデル自身がコードを実行して、途中の答えを次の操作に繋げます。固定された手順の代わりに、判断をモデルに委ねる仕組みも取り入れています。
固定の手順からモデルに判断を移す、つまり決まりきったルールをなくすということですね。実際にどのくらい性能が上がったんですか?
OSWorld-v2という評価基準で8つのモデルで試したところ、平均の得点が19.6ポイント上がりました。タスクあたりの操作回数も、従来の画面操作だけのやり方と比べておよそ53.0%減っています。GPT-6 AstraやClaude Opus 5といった最先端のモデルでも改善しています。
OSWorld-v2という評価基準は、どのような内容のテストなんですか。そこがまだ掴めません。
仮想のパソコン上で、メールの返信やファイルの整理といった日常タスクをどれだけ正確にこなせるかを測るものです。試験問題のような形で、モデルの判断力と操作精度を数値化しています。
8つのモデルすべてで上がりましたか。開発者はこのコードを公開しているんですか。
はい。コードとプロンプト、それに8つのモデルの評価記録をすべて公開しています。実機で動かすための装置と、パソコンやスマホ、ブラウザをまたぐための共通インターフェースも初期版ですが公開済みです。
実機で動かす装置ですか。ベンチマークとは違うトラブルが起きるんですか。
ベンチマークは仮想環境で測るため、実機の環境差異や遅延を完全に再現できません。そのギャップを埋めるのが実機用装置で、macOSのタスク4つで試したところ、Qwen3.8-MaxはGPT-6 Astraより推論に使うトークン数が19.4倍多く必要でした。
推論に使うトークン数が19.4倍も違うんですか。同じ作業でもモデルによって効率に開きがあるということですね。
はい。推論に使うトークン数とは、モデルが答えを出す前に頭の中で考えるステップの量です。同じタスクでも、余計な迷いが多いほどこの数値は大きくなります。このプロジェクトは今後も改良を続け、実機用装置と共通インターフェースの実用版を順次公開する予定です。モデルごとの効率差がまだ大きい部分については、これからデータを集めて比較していく段階です。
では、パソコンやスマホ、ブラウザをまたぐインターフェースですか。開発者がそれぞれの環境に合わせたコードを書かなくてよくなるんですか。
はい。パソコンやスマホ、ブラウザで共通のプログラミングインターフェースを提供し、環境ごとの差異を吸収します。技術者が実装を統一できる仕組みです。
最後に、このOpenGCUAは実際にAIを組み込む技術者にとっても参考になりますか。
はい。コードとプロンプト、評価軌跡を公開しており、実機ハネスとクロスデバイスSDKの初期版も提供しています。これらが技術者にとっての参考になるという記述は要旨にありませんが、公開物そのものは要旨にある事実です。
あわせて、先月にはコンピュータ操作エージェントがGUIとコマンドライン操作を協調させる課題に取り組む別の研究も出ています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文