GRAFTが、推論の各ステップの価値を正確に推定する手法として性能向上を確認した
この記事のポイント
- GRPOのステップ単位の利益推定に偏り
- 軌道グラフで状態価値を再推定
- マルチターンベンチでGRPOより上
どこで使えるか
GitHubで公開予定 コードは未公開。論文はarXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
私、最近LLMの推論能力を鍛えるGRPOといったグループ強化学習が主流ですよね?
確かにその通りです。レスポンス単位の評価は安定していますが、ステップごとの評価になると系統誤差が生じる課題があります。
ステップごとの貢献度を正確に測れないって、結局学習が歪むんじゃないですか?
その通りです。粗い軌道単位の評価では失敗した軌道の中にも価値あるステップが含まれるため、正確な学習信号が得られなくなります。
arXivにGRAFTというフレームワークが提案されました。軌道グラフを構築してベルマン方程式で状態価値を再計算する手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
複数の推論パスをグラフノードとして連結し、ノード間の価値差を辺ごとの報酬配分として算出します。分散低減のためのGraph GAEも組み合わせています。
状態価値をグラフ上で反復計算するんですね!確かに計算コストが気になりますが。
実際のベンチマークでは従来手法と比べてどれくらい改善されるんですか?
GRPOや既存のアジェンティック強化学習手法を比較したマルチターン推論タスクで、一貫して上位の精度を記録しています。軌道グラフによるベルマン反復計算がボトルネックを解消したんですね!
軌道グラフのベルマン反復計算でノード価値を回復し、ボトルネック解消に貢献したんですね!
でも、グラフ構築のコストを無視すれば、結局根本的な解決にはなっていないんじゃないですか?
確かに。グラフ構築のコストは、複数のロールアウト軌道を一本のグラフに統合する際の計算リソースとして考慮される要素です。
自分で動かす場合はどうすればいいんですか?
論文の末尾にGitHubのURLが記載されています。コードは公開予定ですが、現時点ではまだ利用できません。
マルチターン推論ベンチマークで実証されていますが、その手法はエージェント行動の長期計画領域への応用が期待されます。
グラフ構造で信用配分するGAE拡張が注目です!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。