Persistent Negativesが、黒箱の知識蒸留で安定した性能を出した
この記事のポイント
- 最新学生の生成から負例をサンプリングすると、学習が不安定だった
- プロンプト一致の教師-学生比較を混ぜた手法を提案した
- 2学生族3判事4ベンチで改善。ただし同計算量に限る
数字で見る
この記事に出てくる数字
| ベンチマーク数 | 4 |
|---|---|
| Judge数 | 3 |
どこで使えるか
黒箱の知識蒸留で安定した性能を出したい人向け。計算量を抑えつつ学習を安定させたい arXivで論文公開済み コード・モデル公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
大規模言語モデルを教師なしで強化学習させるブラックボックス型オンポリシー蒸留って、最近注目されていますよね?
はい、確かにその通りです。教師が確率を出さず生成結果だけを評価対象にする手法は、実務でも広く使われています。
でも、毎回最新の生成結果から負例をサンプリングしていると、私の知る限り学習がぶれて安定しにくくないですか?
その通りです。評価する負例の分布が更新のたびに変わるため、報酬推定のばらつきが増えますが、この問題を解決する手法が提案されています。
arXivに公開された本研究は、履歴データを活用した永続負例敵対蒸留という手法を提示しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
各バッチの一部を過去の教師と学生の対比データで置き換え、ディスクリミネーターの訓練には履歴比較を使い、GRPOによる方策更新には新鮮な生成結果をそのまま使います。
確かに!古いデータと新しいデータを混ぜるだけで、学習のぶれが防げるんですね!
GRPOは新鮮な生徒の応答でオンポリシーを維持します。
改善効果はどのくらいあるんですか?
従来手法との比較では明確に報酬推定の平均二乗誤差が低下し、ベンチマーク4つで性能が安定して向上します。
従来手法と比べた性能差は明確なんですか?
最新の生成物だけを負例にする手法と違い、履歴負例を使うことで評価軌道が滑らかになり、基準割れする局面が激減します。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、最新の学生応答だけを使うと、学習が不安定になるリスクは残ります。
実際の試し方はどうすればいいんですか?
2つの学生モデルファミリー、3つのジャッジ、4つのベンチマークで、敵対的蒸留が既存手法を一貫して上回ることを確認しています。
2つの学生モデルファミリー、3つのジャッジ、4つのベンチマークで、敵対的蒸留が既存手法を一貫して上回ることを確認しています。
確かに!3つの学生モデルファミリーでも、一貫して改善が見られましたね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。