CompoWorldが、複数サービスを横断するタスクでバックボンを上回る性能を出した。
この記事のポイント
- 既存手法は単一環境内
- 448サービスでタスク生成
- 8ベンチで平均9.17点向上
数字で見る
この記事に出てくる数字
| サービス数 | 448 |
|---|---|
| ツール数 | 10,130 |
| ベンチマーク改善 | 9.17点 |
どこで使えるか
複数サービスを横断するタスクを自前で構築したい人向け。ランダムウォークで検証付きタスクが生成される。 GitHubで公開済み
動画を見る
スポンサーリンク
解説
かみくだいて説明します
arXiv に論文が公開された CompoWorld という手法です。有限のサービスライブラリを組み合わせて、エージェントが複数のサービスをまたいでタスクをこなす環境を自動生成しています。
複数のサービスをまたぐ環境を自動で作るんですね。では、作る側の技術者から見ると、手元で動かすのに何が要るんですか?
448のサービスと10,130のツールを準備します。コードを書くエージェントが仕様を型付きの状態と共有インターフェース付きのサービスに変換し、信頼できないツールは世界モデルが処理します。ランダムウォークで依存グラフを繋いでタスクを生成し、検証済みの実行経路で学習させます。
型付きの状態と共有インターフェースですね。部品同士がはまる形を事前に決めておくイメージなんですね。専門用語なので、もう少しやさしく言うとどうなりますか?
正確には、部品同士がはまる形を事前に決めておくことです。例えばレゴの土台の穴の大きさを揃えておけば、どのブロックを繋げても外れずに組み立てられるのと同じで、違うサービス同士が情報をやり取りするときに、データの受け渡し口が揃っている状態を指しています。
受け渡し口が揃っていれば、違うサービス同士もスムーズに繋がるわけですね。これまでは一つの環境の中でタスクを生成する手法が中心だったんですか。
既存の手法は一つの環境の中でタスクを生成するものが中心でした。しかし現実の業務では、メールで受けた情報をデータベースで調べ、さらに別のアプリケーションで処理するといった横断的な流れが必須です。CompoWorld は依存グラフを使ってサービスを横断するタスクを生成し、検証済みの経路で教師あり学習と強化学習を組み合わせます。
教師あり学習と強化学習を組み合わせるんですね。各グループの中で正解率が低い基準を重点的に評価するんですね。
3,000本の教師あり学習用経路と1,000個の強化学習用タスクを使います。Completion-Focused Rubric Reward という報酬関数では、正解率が低い項目ほど高く評価する仕組みです。タスクの完全な完了へ導きます。
正解率が低い基準を重点的に見るんですね。結果はどれくらい向上したんですか?
8つのベンチマークで平均して9.17ポイント向上しました。AutomationBench では Claude Opus 4.6 を上回り、比較したエージェント特化の35B-A3Bモデルの中で一番上の成績です。学習には Qwen3.6-35B-A3B を使っています。
最先端モデルを抜いたわけですね。最後に、今後の見通しはどうなりますか?
サービスの追加方法や、より複雑な業務フローへの適用範囲については、まだ具体的な数値が出ていません。コードは GitHub に公開されていますので、技術者が実際に動かす様子を確認できます。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。