オンポリシー蒸留で必要なプロンプト数と更新頻度の関係を調べる実験

論文

オンポリシー蒸留で必要なプロンプト数と更新頻度の関係を調べる実験

スポンサーリンク

OPDのプロンプト効率と更新頻度は、4.07ポイント交互に作用する

この記事のポイント

  • OPDの効率に条件が不明
  • 14080TrajでRefreshとBreadthを3x3実験
  • Refreshで25.57%。ただしFrozenでは逆転

数字で見る

この記事に出てくる数字

学習データ数 14,080
最適化更新数 110

どこで使えるか

プロンプト効率を上げたい人向け。更新頻度と組み合わせて条件を選ぶ arXivで公開済み 14,080トランジショントレーニングデータ使用

スポンサーリンク

解説

かみくだいて説明します

オンポリシー蒸留で使うプロンプト数は、結局どれくらい必要ですよね?
確かにその通りです。学習効率を上げるために、いかに少ないプロンプトで高精度な回答を引き出せるかが現場の関心事です。
従来の手法って、プロンプトを大量に用意するだけで対応していませんか?
そうですね。プロンプトバンクを固定するだけでは、モデルの成長に合わせて回答が陳腐化してしまう壁があります。
今回の研究ではプロンプトの幅とロールアウト更新頻度を組み合わせて検証しています。arXivで公開されたこの手法は、更新ごとに回答生成モデルのスナップショットを切り替える発想です。
そのアプローチって、具体的にはどういう仕組みなんですか?
まさに最新レシピをその都度取り寄せて調理するレストランのようなものです。メモリ配置はVRAMを圧迫しないよう、バッチ単位で非同期に同期を取ります。
最新の状態をリアルタイムで反映するんですね!
その通りです。更新間隔を短くすることで、モデルの進化に追いつく設計になっています。
改善効果は実際にどのくらい出るんですか?
10スナップショットで8プロンプトでも平均正答率24.09%を達成し、14,080個の異なるプロンプトの24.51%に迫る数値です。更新ごとに刷新すると23.61%から25.57%まで上昇し、4.07ポイントの明確な差が出ました。
固定した場合との差はどれくらいありますか?
初期回答を固定した条件では、2人の教師による一致比較で2番目の逆転が観測されています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
初期ポリシーで応答を固定したモデルは、32Kの出力制限で平均精度が逆転しますが、応答トークンが1.7倍から1.8倍必要になります。
実際の試し方はどうすればいいんですか?
14,080 本の軌道と 110 回の最適化更新で、プロンプト数とロールアウト更新回数の影響を調べました。
プロンプトの効率性は更新頻度と推論予算の両方に依存することが示されました。
計算リソースを賢く使える未来が来ますね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文