数学の推論で並列生成を改善する手法 StepRS-GRPO、リスク係数を変化させる話

論文

数学の推論で並列生成を改善する手法 StepRS-GRPO、リスク係数を変化させる話

スポンサーリンク

StepRS-GRPOは数学推論で正解率と多様性を同時に向上させた

この記事のポイント

  • 並列生成で報酬の使い方が不明確だった
  • ノイズ除去状態に応じてリスク係数を変えた
  • 数学推論で精度と多様性が向上した

数字で見る

この記事に出てくる数字

精度向上 pass@1
カバレッジ pass@k

どこで使えるか

数学推論で正解率と多様性を両立させたい人向け。既存トレーナーを流用可能 arXivで公開済み 数学推論ベンチマークで評価済み

スポンサーリンク

解説

かみくだいて説明します

Yue YUらの研究チームが、2026-10-01 付けで arXiv に dLLMs の学習手法「StepRS-GRPO」を発表しました。複数のトークンを並行して生成する dLLMs に対し、学習の段階ごとにリスクを取る量を調整する係数を変えます。
段階ごとに量を調整するんですか。従来のモデルは一度に一つずつ文字を出していましたよね。この並列生成は計算の速さだけが変わるんですか。
並行して出すため、正解への近づき方を段階ごとに重み付けする仕組みです。専門用語ではグループアドバンテージ変換のリスク係数と呼ばれますが、要するにテストの難易度に合わせて配点を変えるようなものです。
配点を変えるようなものなんですね。複数のモデル基盤で検証した上で、精度が上がったと。
pass@1 の精度と pass@k のカバー率が向上しました。複数のバックボーンで検証しており、正解を出す確率だけでなく、複数の回答を試したときの正解の広がりも大きくなっています。
正解の広がりまで測るんですか。同じ問題で違う答えが出やすくなるのは、開発者が実装するときに困らないんですか。
困ることはありません。回答の多様性は推論のトレース全体で見ても広がっており、最終的な答えだけでなく考え方のバリエーションが増えます。実装側は既存のトレーナーをそのまま使い、係数のスケジュールを変えるだけで済みます。
係数のスケジュールを変えるだけなんですね。始点と補間の比較実験で選ぶと。
能力に基づく較正でスケールを決め、始点と補間の比較実験でスケジュールを選びます。利得のRMSを従来の手法と合わせた上でも性能差は残っています。
RMS を合わせた上で差が残るんですか。実務で使える段階ですか、まだ研究段階ですか。
複数のバックボーンと数学推論ベンチマークで有効性を確認しています。コードの公開有無については、そこはまだ分かっていません。
公開予定は不明なんですね。
多様なバックボーンと数学的推論ベンチマークで精度と多様性を向上させることを実証しました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文