P2Tが深層報酬モデルからトークン報酬を抽出。RL効率と推論性能が向上。
この記事のポイント
- 素朴な計算は非現実的
- 勾配推定器でトークン毎に分解
- Qwen2.5-Math-7Bで+11.5%
数字で見る
この記事に出てくる数字
| MathVista改善 | +4.9% |
|---|---|
| AIME24改善 | +11.5% |
どこで使えるか
トークン単位の報酬分解でRL効率を上げたい人向け。学習不要で既存PRMを活用。 GitHubで公開予定 7Bモデルで検証済み
スポンサーリンク
解説
かみくだいて説明します
Sitong Wuらの研究チームが、2026-10-14 に arXiv にトレーニング不要で報酬をトークン単位に割り当てる手法を発表しました。既存の深層報酬モデルから、各トークンが最終的なスコアにどれだけ影響を与えたかを推定し、トークンごとの報酬信号を取り出します。
報酬モデルはすでに学習済みだという前提のようです。既存のモデルをそのまま使うだけで、新たに報酬モデルを訓練しなくて済むということなんですね。
正確にはその通りです。従来の手法では、文章を構成するすべてのトークンについて報酬モデルを動かす必要があり、トークンが 100 個あれば 100 回の推論が必要でした。今回提案する P2T という手法では、トークン埋め込みと報酬の勾配の内積を計算するだけで済み、順伝播と逆伝播を 1 回ずつ回すだけで済みます。
100 回の計算が 1 回で済むなら、訓練にかかる時間とコストは大幅に減りますね。ただ、その勾配の計算は、報酬モデルの内部構造を直接参照する形になるんですか。
内部構造を直接参照するのではなく、モデルに入力したデータの出力結果から勾配を導出します。イメージとしては、ある単語を別の意味を持たない記号に置き換えたときに、最終的な点数がどれくらい変動したかを、微分の要領で近似して求める作業です。
意味を持たない記号に置き換えたときの変動を、微分で近似するんですね。では、実際の推論速度はどのくらい向上するんですか。
速度の向上幅については具体的な数値は示されていませんが、計算ステップ数が大幅に削減されるため、訓練全体の効率向上に直結します。それ以上に重視されているのは、モデルが正解に近づいた推論ステップを正確に特定できる点です。
訓練効率の向上が主目的なんですね。では、この手法を取り入れた場合、既存の強化学習アルゴリズムはそのまま使えますか。追加の調整は必要ないんですか。
標準的な強化学習アルゴリズムをそのまま適用できます。トークン単位の報酬信号が得られるため、モデルがどの部分の推論で正解に近づき、どの部分で誤答を生んだかを正確に特定できます。追加の調整なしに、精度の向上に直結します。
どの推論ステップが正解に貢献したか、正確に特定できるんですね。では、実際に性能向上が確認されたのは、どのような種類の推論タスクだったんですか。
MathVista というベンチマークでは Qwen2.5-VL-7B-Instruct で正解率が 4.9 ポイント向上し、AIME24 では Qwen2.5-Math-7B で 11.5 ポイント向上しました。いずれも計算量が少ないモデルでの結果です。
計算量が少ないモデルでも、このくらいの差が出ますか。では、最後に、この手法が実用化されるまでの課題は何か、あるいは今後の展開について教えてください。
P2TはQwen2.5-VL-7B-InstructでMathVistaにて4.9%、Qwen2.5-Math-7BでAIME24にて11.5%向上した。
出典
この記事のもとになった情報
- arXiv:Unlocking Token Rewards via Training-Free Reward Attribution
- 公開日:2026-10-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。