ScholarEvolveが Qwen3.5-27B のタスク達成率を 49.6% から 63.6% に引き上げた
この記事のポイント
- 既存の失敗観測に依存し探索が限定的だった
- 研究文献を自動抽出しモジュール別に戦略を適用
- AppWorldとTau2-Benchで両方向上した
どこで使えるか
エージェントの操作ロジックを自動改善したい人向け。研究文献を取り込み継続的に進化させる 論文で公開済み
スポンサーリンク
解説
かみくだいて説明します
Jingbo Yangらの研究チームが2026-10-01に論文を発表しました。AIが外部の道具を使うときの運転席のようなソフトウェア、エージェントハーネスの自動改良を促すScholarEvolveという枠組みを開発し、2つの評価環境でタスク達成率を大きく伸ばしました。従来はAIが過去の失敗だけを見て改良していたため、改良の幅が限られていました。
運転席を自動で改良するんですね。では、論文を参考にするだけで、実際に動くソフトウェアの部分をどう書き換えているんですか?
従来はAIが過去の失敗だけを見て自分でコードを書き換えるため、知っている範囲の中だけで改良が止まりがちでした。ScholarEvolveはまずソフトウェアを機能ごとに区切り、最新の論文をテーマ別に分類して、どの部分にどんな改善案が当てはまるかを探します。そして実際にコードを生成して組み合わせを試し、効果が高い組み合わせだけを残す仕組みです。
論文をテーマ別に整理して、部分ごとに改良案を当てはめるんですね。では、新しい論文が出たときも、自動的に取り込んで進化を続けられるんですか?
はい、枠組みは時間の経過とともに新しい論文を読み込み、それまでの改良に追加していく設計です。過去の失敗に反応するのではなく、研究の進歩を先取りして改良方向を決めるため、長期的な性能向上が見込めます。
研究の進歩を先取りして改良方向を決めるんですね。では、実際にどのくらい性能が上がったんですか?
AppWorld ChallengeではQwen3.5-27Bのタスク達成率が49.6%から63.6%に上がり、Tau2-Bench TelecomではGPT-5.4-miniのpass@1が72.7%から81.9%に伸びています。pass@1とは1回の試行で正解を導けた割合で、1度きりのテストでクリアできた率を表します。この数字は、ソフトウェアを書き換えるだけで、基盤モデルの能力を大きく引き出せたことを示しています。
49.6%から63.6%、72.7%から81.9%と、どちらも10ポイント以上伸びたんですね。では、この改良は特定のAIモデルにしか使えないんですか?
基盤となる言語モデルは固定したまま、ツール使用やメモリ管理を司るソフトウェア部分だけを改良する枠組です。Qwen3.5-27BやGPT-5.4-miniといったモデルで改善を確認しています。
モデルは変えずに、その上のソフトウェア部分だけを書き換えるんですね。では、この枠組みで使うコードは開発者が自由に使えるように公開されているんですか?
公開の有無については、そこはまだ分かっていません。論文には実験結果と枠組みの仕組みが詳しく記されていますが、コードの公開予定やライセンスについては触れられていません。開発者が実際に組み込むには、まずは論文の内容を自分で実装する必要がある段階です。
最後に、実用に耐えるかどうか見極めたい点をお聞きします。では、実環境でのテストはもう始まっているんですか?
論文に掲載されたのはAppWorld ChallengeとTau2-Bench Telecomという2つの評価環境での結果です。実社会の複雑なタスクや長期間にわたる安定稼働については、まだ検証が進んでいない段階です。今後の公開情報や他の研究グループによる再現実験の結果を待ちたいと思います。
出典
この記事のもとになった情報
- arXiv:Learning from Research: Toward Lifelong Agent Harness Evolution
- 公開日:2026-10-01
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。