Proximal KLが Qwen3 の数学精度を上げた。
この記事のポイント
- トークン単位の重みは勾配を歪める
- 将来KL信用で勾配歪みを解消
- Qwen3-1.7Bと4BでGRPOより最大2.58%上
数字で見る
この記事に出てくる数字
| モデル規模 | 1.7B/4B |
|---|---|
| ベンチマーク数 | 8 |
どこで使えるか
オフポリシー学習で勾配歪みを抑えたい人向け。理論保証付きでクリッピング不要 コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Hao Baiらの研究チームが、2026年10月14日にarXivへ論文を発表しました。検証可能な報酬を持つ強化学習で、単語ごとの重みを調整する手法「Proximal KL」を提案し、Qwen3-1.7BとQwen3-4Bの2つのモデルで8つの数学ベンチマークをテストした結果、グループ リワード ポリシー オプティマイゼーションを最大2.58%上回る精度を出しました。
最大2.58%の差は、実際の学習ではどれくらいの効率の違いになるんですか?
カバレッジと局所表現力の条件のもと、完全な未来のKL信用により、厳密な近接オプティマイザが更新の唯一の定常政策になることを証明しています。単語ごとの重み調整で、応答全体への重み付けなしに成り立ちます。
完全な未来のKL信用が唯一の定常政策になるというのは、専門用語で分かりにくいんですが、もう少しやさしく言うとどうなりますか?
分かりにくい点ですね。つまり、未来のKL信用とは、次のステップでどれだけ正解に近づけるかを見通しとして使うことです。例えば、旅行のルートを決める時に、その先の信号まで青かどうかを一度に確認して、無駄な一時停止を減らすイメージです。
なるほど、先読みして無駄を省く訳ですね。では、この手法は既存のグループ リワード ポリシー オプティマイゼーションと比べて、計算コストは増えるんですか?
計算コストについてです。実験では学習率2種類、応答再利用、ロールアウトの古さを跨ぐ7つの比較で、新しい手法がグループ リワード ポリシー オプティマイゼーションを上回りました。未来の時間範囲を有限に設定することで補正の分散を減らし、AIME24のmean@16とpass@16を向上させています。
未来の時間範囲を有限に切るというのは、具体的にどのくらいの長さを見ているんですか?
具体的には、論文の固定ポリシー測定で、範囲を切り捨てることで補正のばらつきを抑える効果が示されています。
応答全体を使わずに更新できるなら、作る人にとって導入は簡単ですか。
導入についてです。線形ロジスティックモデルでの有限サンプル報酬保証は追加の仮定が必要で、時間変化する行動ポリシー下での収束も持続的カバレッジが前提です。公開されているコードや具体的な組み込み手順は、そこはまだ分かっていません。
最後に、今後の展開について教えてください。
今後の展開として、線形ロジスティックモデルにおける有限サンプル報酬保証や、Qwen3-1.7Bおよび4Bでの7つのオフポリシー比較実験におけるGRPOを上回る精度向上が示されています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。