DARAがツール呼び出しで最大26%、数学推論で最大65%少ないステップ数で目標を達成した。
この記事のポイント
- GDPOで残る信号の偏りが不明だった
- 密度に逆平方根で重み付けする
- ツール26%・数学65%削減
数字で見る
この記事に出てくる数字
| ツール呼び出し削減 | 最大26% |
|---|---|
| 数学推論削減 | 最大65% |
どこで使えるか
複数の報酬で学習が偏る課題を解決したい人向け。密度に応じた重み付けで学習効率を向上 GitHubで公開済み ツール呼び出し26%、数学65%は最大値
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Tong Zhengらの研究チームが、arXivに論文を発表しました。複数の目標を同時に満たすように大規模言語モデルを訓練する際、それぞれの目標への学習進度に偏りが生じる問題を解消する手法、DARAを提案しています。
複数の目標を同時に満たす、つまり複数の報酬を同時に使う訓練ですね。それぞれの目標への進み具合に差が出るんですか?
そうです。GDPOという既存の手法では、ロールアウトグループ内での相対的な情報を保ちつつ正規化を行いますが、異なる目標同士で学習の進み方が均等にならないことがあります。研究チームはこれをアドバンテージエネルギーという指標で分析しました。あるバッチの中で、報酬ごとのアドバンテージの二乗を合計した値です。
複数の目標で学習の進み方に差が出るのを、アドバンテージエネルギーという指標で調べる。あるバッチの中で、報酬ごとのアドバンテージの二乗を合計した値なんですね。
そうです。正規化の条件を整えると、このエネルギーの値はアクティブグループ密度に比例することが分かりました。アクティブグループ密度とは、ロールアウトグループの中でその報酬がゼロ以外の相対的なアドバンテージを出す割合のことです。つまり、あまり頻繁に信号を出さない報酬ほど、バッチ全体のレベルで情報が不足している状態になっていることが数値で確認できたのです。
信号を出さない報酬ほど、情報が不足している。専門用語が続きますが、もう少し分かりやすい例えで説明していただけますか。
確かに難しい話でした。例えば、複数の先生が同時に生徒に採点をしている場面を想像してください。いつも積極的に採点する先生の意見は大きく反映されますが、あまり採点に参加しない先生の意見は、全体の評価にほとんど反映されなくなります。DARAは、参加回数が少ない先生の採点結果に、自動的に大きな重みを付ける仕組みです。
参加回数が少ない先生の採点に重みを付ける。では、その重み付けの具体的な計算方法は、どうなっているんですか?
参加頻度の逆数の平方根、つまりアクティブグループ密度の逆数の平方根を補正係数として使います。これによって、頻繁に信号を出す報酬の重みを相対的に下げて、あまり出さない報酬の信号を相対的に高くします。この計算は訓練中の各バッチから毎回行われるため、報酬の活動状況が変わっても追従できます。モデルそのものの最適化の式を変える必要はありません。
重みの調整は、訓練のたびにその場で自動で行われるんですね。実験では、具体的にどれくらいの訓練ステップで差が出たんですか?
ツール呼び出しのタスクでは、高い形式準拠率に達するまでに、従来のGDPOを最大26%少ないステップ数で達成しました。数学的推論のタスクでは、長さの準拠率がほぼ飽和するまでに、最大65%少ないステップ数で収束しています。最終的な性能は従来の手法と遜色ない水準を維持しています。
26%と65%のステップ数削減で、最終的な性能は変わらない。では、この手法は現在使われている他の訓練手法とも組み合わせられるんですか。
組み合わせに関する記述はありません。そこはまだ分かっていません。
なるほど。最後に、この手法を実際の開発現場で使う場合、どのような準備が必要になるんですか。
論文にはコードが公開されているとあります。開発現場で試す場合、まずそのコードを動かせる環境を整えることが最初のステップになります。ただし、コードの動作要件や、実際のモデルへの組み込み手順については、具体的な記述がないため、そこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
- 公開日:2026-10-01
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。