マルチターン AI エージェントの学習を改善する手法 PSP、タスクの完了率を上げる話

論文

マルチターン AI エージェントの学習を改善する手法 PSP、タスクの完了率を上げる話

スポンサーリンク

PSPがマルチターンエージェントのタスク完了率を最大65%向上させた

この記事のポイント

  • OPSDは特権情報なしに自信を持つだけ
  • 特権情報をプロンプトに残し再サンプリング
  • AppWorld65%、SWE-bench61%向上

どこで使えるか

マルチターンエージェントでPIを損失からサンプラーへ移したい人向け arXivで論文公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

LLMエージェントの事後学習で、自分自身を教師にするオンスポリシー自己蒸留が流行っていますよね?
確かにその通りです。モデル自身に特権情報を条件付けて強教師として振る舞わせ、トークンレベルで指導する手法が注目されています。
でも、マルチターンで使うと、実は情報がないのに自信満々に振る舞うだけになるんですか?
そうです。特権情報を損失関数に直接注入する従来手法は、まるで正解の写し紙を暗記させるようなものです。学習者は根拠のない自信だけを習得し、純粋な強化学習をすら下回る場合が報告されています。
そこでarXivで発表されたのが、特権情報を損失からサンプリング側へ移すPSPという手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
失敗したロールアウト時にアナライザーモデルが短い指示文を生成し、プロンプトに追加して再サンプリングします。学習は従来通りGRPOで変わらず、特権情報はあくまでプロンプト内にとどまります。
損失関数に直接触れないからこそ、根拠のない自信が染み込まないんですね!
その通りです。メモリ配置もプロンプト拡張に留まるため、推論パイプラインへの干渉を最小限に抑えています。
実際の性能向上はどのくらい見込めるんですか?
AppWorldでタスクゴール達成率が最大65%向上し、SWE-bench Verifiedでは解決率が最大61%改善しています。3つのモデルで全設定ベストスコアを記録し、純粋なGRPOを一貫して上回る唯一の手法です。
従来手法との差が数字で明確に出ているのが素晴らしいですね!
AppWorldで最大65%、SWE-bench Verifiedで最大61%の改善が確認されています。
でも、特定のタスクにアナライザーが最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
アナライザーがタスクごとに短い指示文を書く仕組みで、失敗したロールアウトを再サンプリングします。
私たちが実際に試す際はどのように進めればいいんですか?
PSPはPIをプロンプトに残し損失には入れないため、検証ではタスク指示を注入して再サンプリングし、GRPOで訓練します。
検証ではAppWorldとSWE-bench Verifiedで、3つの学生モデルでPSPが最良の平均スコアを達成しました。
AppWorldで65%、SWE-benchで61%向上しました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文