Direct-OPDの教師信号を絞るS²D-OPD、1.7Bから8Bのモデルで精度を上げる話

論文

Direct-OPDの教師信号を絞るS²D-OPD、1.7Bから8Bのモデルで精度を上げる話

スポンサーリンク

S²D-OPDが、8B以下のモデルで8つの設定の7つで精度を上げた。

この記事のポイント

  • Direct-OPDの教師信号に問題があった
  • JSDで上位10%の状態で監督を選択
  • 8設定中7で精度向上。ただし1設定は同等

数字で見る

この記事に出てくる数字

上位状態 10%
モデル規模 1.7B~8B

どこで使えるか

Direct-OPDで精度が頭打ちの人向け。JSDで教師の更新量を可視化し不要な状態を除外する 匿名URLでコード公開済み

スポンサーリンク

解説

かみくだいて説明します

最近、強化学習で微調整したモデルを大きいモデルに転写する手法が注目されていますよね?
確かにです。リワードモデルの知見を直接引き継ぐDirect-OPDが注目されていますが、その仕組みには見えない落とし穴があります。
私たちが既存の転写手法で苦労していますが、結局どこが問題だったんですか?
従来手法はトークンごとの対数比を密に教師信号として使いますが、両方のモデルがそのトークンを完全に忘れた場合でも数値が変わらない欠点があります。
arXivに公開された論文では、この欠陥をJensen-Shannon divergenceで厳密に証明し、S²D-OPDという手法を提案しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
生徒モデルが生成した状態を教師モデルとのJensen-Shannon divergenceで順位付けし、差分が小さい状態の信号をマスクします。まるでベテラン教師が生徒の振れ幅が大きい問題だけ採点するような仕組みです。
無駄な信号をカットして学習効率を上げるんですね!
追加の推論パスなしで、応答ごとの上位10%の状態だけを残す設計になっています。
実際の精度向上はどの程度確認できたんですか?
1.7Bから8Bの4つのモデルで検証した結果、AIMEとHMMTベンチマークで8つの設定のうち7つで精度が向上し、残り1つも従来手法に劣らない数値を記録しています。
追加コストなしでこれだけ差が出るとは驚きです!
追加のフォワードパスなしで、これだけの実績です。
でも、ベンチマークの点数を上げるだけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。Jensen-Shannon発散が小さい状態では教師の振る舞いの変化が小さいため、そのような状態での監督をマスクすることで、より効果的な学習が可能になります。
実際の開発現場で試すにはどうすればいいんですか?
公開コードを活用し、1.7Bから8Bパラメータのモデルでベンチマーク精度向上を確認できます。
1.7Bから8Bパラメータのモデルでベンチマーク精度向上を確認できます。
1.7Bから8Bパラメータのモデルでベンチマーク精度向上を確認できます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文