DRM、人間の好みを多峰性で捉える報酬モデル、大規模言語モデルの微調整に使う話

論文

DRM、人間の好みを多峰性で捉える報酬モデル、大規模言語モデルの微調整に使う話

スポンサーリンク

DRMが公開。人間の好みを多峰性で捉え、LLMの微調整で性能向上を確認。

この記事のポイント

  • 単一分布に収まらない人間の選好を表現できなかった
  • 拡散モデルで報酬分布を推定する手法を開発した
  • 5ベンチで既存手法に匹敵。ただし訓練規模は小さい

数字で見る

この記事に出てくる数字

ベンチマーク数 5
推論時サンプル数 N

どこで使えるか

LLMの微調整で報酬モデルを構築したい人向け。多峰性の選好を扱い、分散情報も活用可能 GitHubで公開済み 推論でNサンプル生成し集約可能

動画を見る

スポンサーリンク

解説

かみくだいて説明します

LLMの整列に使われる報酬モデルって、結局正解を一つに絞り込むものですよね?
その通りです。従来の手法はプロンプトと応答のペアを単一点推定や固定分布に圧縮してきました。
人間の評価って毎回違う基準になるじゃないですか。固定分布じゃ現実とズレませんか?
確かにズレます。人間の好みは本質的に多峰性を持ち、一つの応答も文脈によって複数の評価軸で判断されます。固定パラメータ族ではその柔軟性を捉えきれないのが現場の壁です。
そこでarXivに公開されたDRMという手法が注目されています。報酬モデルを条件付き密度推定に置き換える発想です。
そのアプローチって、具体的にはどういう仕組みなんですか?
凍結したLLMエンコーダーで応答を埋め込み、そこから軽量なDiffusion Transformerがガウスノイズを報酬ベクトルへ逆ノイズ除去します。まるで複数の評価軸を同時に解きほぐすスキャナーのようです。
分布の形を自由に変えられるなら、多様な人間の判断も自然に表現できそうですね!
推論時はN回のサンプルから経験分布を得られ、平均値や分散、分位数に自由に集約できます。メモリ効率は凍結バックボーンのおかげで実用的な範囲に収まっています。
私、従来の手法と比べて具体的にどこが改善されたんですか?
5つのベンチマークで同規模の基底モデルとデータ条件下で競合手法に追いつき、上回る結果を出しています。特に従来のヘッドが一点に収束する場面で多峰性構造を正確に回復し、不確実性対応の棄却やLCB集約によって報酬モデルの判断を改善できることを示しています。
分布の情報を使い切っているなら、単純なスカラー値より意思決定が堅牢になりますね!
その通りです。控えめな訓練規模にもかかわらず、はるかに大規模な判別型や生成型の報酬モデルと遜色ない競争力を示しています。
でも、Diffusionを使う以上、推論時の反復計算コストって結局根本的な解決にはなっていないんじゃないですか?
仰る通りです。DRMは推論時にN個のサンプルを得るため、計算コストは従来のスカラー報酬モデルより高くなりますが、その分分布情報を活用できます。
私、自分で動かすときはどう始めればいいんですか?
GitHub公開のリポジトリからコードを取得し、マルチ属性回帰データとペア比較データの両方をロードして学習を走らせる手順が用意されています。ぜひ実際に分布の形状を確認してみてください。
5つのベンチマークで既存手法と同等かそれ以上の性能を示し、従来の手法が単一値に収束する部分でも多峰性の報酬構造を復元できています。
報酬モデルの発想が根本から変わるなら、次の世代のAI整列がもっと賢くなりますね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文