CoTrace、ターミナル操作 AI のデータ選別と Qwen3.5-9B の性能向上

論文

CoTrace、ターミナル操作 AI のデータ選別と Qwen3.5-9B の性能向上

スポンサーリンク

CoTraceは Tmax 環境で Qwen3.5-9B の正解数を 78 から 88 に引き上げた。

この記事のポイント

  • 生成軌道の価値がハネス依存と不明
  • CoTraceで軌道ルーティングを制御
  • SFTで78→88。RLでは90に到達

どこで使えるか

ターミナル操作をSFTで上げたい人向け。ハarnessとモデルの整合性を意識する arXivで公開済み Tmax promotion splitでの結果。

スポンサーリンク

解説

かみくだいて説明します

Jixuan Chenらの研究チームが、2026年10月8日にarXivへ発表した論文で、ターミナル操作エージェントの学習手法を報告しました。モデルの重さと、プロンプトの整形やエラー回復を担うハルネスを同時に進化させるCoTraceという手法で、Qwen3.5-9Bの正解数を、教師あり学習で78から88に、強化学習では90まで引き上げました。
正解数が一気に増えたんですね。このハルネスという仕組みは、作る人から見ると、今使われているやり方とどう違うんですか?
従来はハルネスを検索する過程で得られた作業記録を、混ぜ合わせずに区別なく保存していたのですが、CoTraceではその記録がどのハルネスのもとで生まれたかによって、使うか使わないかを厳密に選別します。特定のハルネスで繰り返し失敗が起きれば、それを手がかりにハルネス自体を改良し、モデルの学習では、その改良されたハルネスで実際に成功した記録だけを使うようにしています。
失敗した記録は使わず、成功した記録だけを使うんですね。では、専門用語の「ハルネス」というのは、具体的に何を指すんですか?
端末上で動くソフトウェアの土台のことです。例えば、あなたがチャットボットに「明日の天気を取ってきて」と言ったら、天気アプリを呼び出す部分や、エラーが出たときのやり直しを全部この土台が管理します。モデルは判断だけして、実際の操作の手配はこの土台が担うイメージです。
土台が違えば操作の手配も変わるんですね。研究する人から見ると、どこが新しい成果だと測ったんですか?
Terminal-Bench 2.1とSWE-bench Liteという2つの評価基準で、学習とは別の環境に移したときの性能を測りました。学習で使ったハルネスと、評価で使うハルネスを一致させておかないと、手順が途中で崩れて正解できなくなるのが分かっています。一致させておけば、別の環境でも安定して動きます。
学習と評価で同じ土台を使わないと動かないんですか。では、AIを使う側にとって、この結果はどのくらいの実用化に近づいたんですか?
計算量を大幅に抑えながら、同じ規模のデータを集めた従来手法を上回る性能が出せたことが大きいです。さらに、評価では分布外転移がハッチの互換性に根本的に依存することが示されており、学習と評価で同じランタイムを維持することが重要です。
他harnessのコーパスと比べたときに限り、計算量を抑えつつ性能を維持できたのは大きいですね。
現場ですぐに使えるかは別として、計算資源の節約効果が明確になったのは確かです。ただし、異なる種類のハルネス間でも成功した記録の選別ルールをどう通用させるかは、まだ分かっていません。
最後に、異なるハルネス間でも選別ルールを通用させるのが難しいんですね。
そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文