多ターンエージェントの進捗を測るDeltaTTG、RLの学習効率を上げる話

論文

多ターンエージェントの進捗を測るDeltaTTG、RLの学習効率を上げる話

スポンサーリンク

DeltaTTGが、多ターンRLの学習効率をQwen3-4Bで5.7点、Llama-3.1-8Bで7.2点向上させた。

この記事のポイント

  • 多ターンエージェントのステップ評価が困難
  • 進捗メーターで報酬をステップに再配分
  • 3環境で平均5.7〜7.2ポイント向上

どこで使えるか

多ターンRLでステップ報酬が欲しい人向け。学習コスト増えずモデルを選ばない GitHubで公開済み

スポンサーリンク

解説

かみくだいて説明します

arXivに 2026年 10月 14日に公開された DeltaTTGという手法は、AIが複数のやり取りでタスクをこなす際の学習を、進捗を測る道具で効率化するものです。
複数のやり取りで動く AIの学習を、進捗を測るだけで改善するんですか?
従来の手法では AIが最後の答えを出した瞬間に正解か不正解かしか判定されず、途中のステップごとに何が良かったか評価が届きませんでしたが、この DeltaTTGは Token-to-Go、つまりタスク完了まであと何文字生成すればいいかを常に推し量る仕組みを導入します。
残り文字数を常に推し量るんですか。ただ、その Token-to-Go という数字が、学習中の advantage をどう振り直すのか、まだ掴めません。
正確には、学習中に使う進捗計は一度決めたら動かさない固定の状態にして、その数字の変化だけで AIへの評価の配分をステップごとに振り直す仕組みです。例えば、長文の作文をさせる際に、途中まで順調に書けていても最後に意味が崩れてしまうと、従来の手法では最後まで不正解扱いになりますが、この方法では途中のステップごとに「あとどれくらいで完成する見込みか」の数字が下がれば、そのステップを正解寄りに評価してやり直しの方向を微調整します。
固定の進捗計で評価の配分だけを変えるんですね。研究している人から見ると、既存の手法と比べてどこが特に新しいんですか。
既存の手法ではステップごとの評価に外部の判定器や人間のチェックが必要でコストが嵩みましたが、DeltaTTGは多様な AIが記録した軌跡から低コストで進捗信号を学習するため、追加の判定器なしにステップごとの品質を区別できます。
追加の判定器なしに品質を区別できるんですか。実際に数値でどれくらい差が出るんですか。
Qwen3-4Bと Llama-3.1-8B-Instructの 2つのモデルで、ALFWorld、PaperSearchQA、BFCLv3の 3つの課題で試した結果、GRPOという手法を基準に平均して 5.7ポイントと 7.2ポイントのスコア向上を確認しました。
5.7ポイントと 7.2ポイントの向上が確認できるんですか。GPUの稼働時間についてはどうなっていますか。
学習に要する GPUの稼働時間は GRPOとほぼ同じ水準に抑えられており、精度が上がっても計算コストが大幅に増えない設計になっています。
計算コストを増やさずに精度を上げられるんですか。最後に、この手法が実用化されるまでの見通しや、まだ解けていない点はありますか。
さらに分野が異なる課題でも性能が向上し、ステップの質を見分ける能力が複数のモデルサイズで確認されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文