多ターンLLMエージェントの意思決定を改善するTreeHCA、探索と報酬配分を統一した手法

論文

多ターンLLMエージェントの意思決定を改善するTreeHCA、探索と報酬配分を統一した手法

スポンサーリンク

探索と報酬配分が噛み合わないと学習の手がかりが弱いままだった。

この記事のポイント

  • GRPOは判断を区別できなかった
  • 参照回答の尤度変化で探索と配分を統合
  • 7ベンチ3バックで全ベースを上回った

数字で見る

この記事に出てくる数字

ベンチマーク数 7
バックボーン数 3

どこで使えるか

多ターン推論で判断の善し悪しを分けたい人向け。探索と報酬配分を統一設計で連携 GitHubで公開済み

スポンサーリンク

解説

かみくだいて説明します

Debajoy Mukherjeeらの研究チームが、arXivにTreeHCAという手法を発表しました。複数のステップで動くAIエージェントの学習で、過去の判断を振り返って正解に近づく経路を探す仕組みと、各ステップごとの貢献度を割り当てる手法を組み合わせました。
複数のステップで動くAIの学習手法なんですね。従来の手法だと何が問題だったんですか?
従来のGRPOという手法は、最終結果が良かろうが悪かろうが、経路の中の全ての判断に同じ点数を付けていました。
GRPOは聞きなれない言葉ですが、もう少しやさしく言うとどうなりますか。
要するに、AIが長い文章を一度に書く際、最後の答えが合っていれば途中の全ての選択を褒め、間違っていれば全てを責めるやり方です。
最後の答え次第で全部褒めたり責めたりするんですね。TreeHCAはどうやって区別するんですか。
最終的な答えとの確率の変化を見て、分岐点で別の選択を試みます。正解に近づく経路が見つかれば、その分岐点から先の選択に高い点数を分配します。まるで迷路で、正しい出口が見つかったら、それまでに通った正しい分かれ道にだけ報酬を与えるようなイメージです。
正しい分かれ道にだけ報酬を分配するんですね。作る人から見ると、これは現場で既に使われている手法を置き換える話ですか、まだ先の話ですか。
7つのベンチマークと3つのQwenバックボーンで検証した設計で、TreeHCAは全ての比較対象を上回る結果を出しました。環境によっては調整が必要な部分もあるかもしれませんが、全体的には効果的な手法です。
環境によっては調整が必要な設計なんですね。では、7つのベンチマークで全ての比較対象を上回ったとありましたが、どのモデルで検証したんですか。
3つのQwenシリーズのバックボーンを使い、7つの質問応答ベンチマークで評価しました。合計の正確回答率が全ての比較対象を上回り、組み合わせの効果が裏付けられました。
最後に、コードは公開されていますか。
はい、GitHubに公開されています。論文の末尾にリポジトリURLが明記されており、TreeHCAのコードが誰でもアクセスできる形で提供されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文