環境とのやり取り単位で報酬を配分する SHARPO、Qwen2.5-7B の推論を改善する話

論文

環境とのやり取り単位で報酬を配分する SHARPO、Qwen2.5-7B の推論を改善する話

スポンサーリンク

SHARPOが Qwen2.5-7B で ALFWorld と WebShop の既存手法を抜いた。

この記事のポイント

  • 単一エラーで失敗し軌道レベル報酬では指示が限定的
  • セグメント単位でGRPOのアドバンテージを再重み付け
  • ALFWorld/WebShopでGRPO等より優れる

どこで使えるか

長期タスクで失敗を避けたい人向け。セグメント単位で報酬を再配分 コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Xinchen Duらの研究チームが、AIの長い作業手順ごとの正解割り当てを改善する手法、SHARPOを発表しました。2026-10-01に論文が公開されました。
長い手順で作業を進めるAIに、どこが正しい判断だったか教える仕組みなんですね。これまでと何が違うんですか。
従来は最終的な結果だけで評価していましたが、SHARPOは作業を区切りごとに分け、区切りごとの正解度を細かく計算します。教える用のモデルと学習中のモデルの答えのズレを区切り内で測り、そのズレの大きさで区切り全体の評価値に倍数を掛けます。先生と生徒のテストの点数差のように、どこまで答えが近づいたかを測り、その差に応じて区切り全体の評価を強めたり弱めたりする仕組みです。
区切りごとの評価値に倍数を掛けるんですか。その倍数はどのくらい変わるんですか。
倍数の具体的な数値や変動幅については、書かれていません。そこはまだ分かっていません。代わりに、Qwen2.5-7B-InstructというモデルでALFWorldとWebShopという2つの検証環境で試した結果、GRPOやSDAR、RLSD、StepOPSDといった既存の手法を上回りました。
既存の手法をすべて上回ったんですか。検証環境のALFWorldとWebShopは、具体的にどんな場面を再現しているんですか。
ALFWorldが家事のシミュレーション、WebShopがオンラインショッピングの操作訓練に使われています。AIが実際のアプリやシステムを操作する練習場として設計されています。
家事やショッピングの操作訓練で使うんですか。この手法は、自分でAIを組み込む技術者がすぐに使えるんですか。
手法の公開有無や導入に必要な環境について、書かれていません。そこはまだ分かっていません。代わりに、この手法は既存のGroup Relative Policy Optimizationという学習枠組みを区切り単位で補強する形で設計されています。すでにGRPOで学習を進めている現場であれば、区切りごとの評価ロジックを追加するだけで組み込める構造です。
すでに使っている学習の枠組みに、区切りごとの評価を足すだけでいいんですか。
正確には、区切りごとの教師と生徒の対数確率の差を計算して、GRPOのアドバンテージに有界な乗数をかける仕組みです。
では、研究している人から見ると、どこが新しいんですか。
これまでは単一の誤りがタスク全体の失敗を招き、最終結果だけの報酬では個々の判断への指示が限定的でした。SHARPOは区切りごとの倍数で評価を調整するため、長い手順の中でも個々の判断に正確にフィードバックを返せる点が新しいです。
最後に、今後の見通しを教えてください。
Qwen2.5-7B-Instructで、SHARPOはALFWorldとWebShopでGRPOなどを上回ります

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文