教師モデルの介入をランダムに調整し、生徒モデルへの蒸留精度を高める手法

論文

教師モデルの介入をランダムに調整し、生徒モデルへの蒸留精度を高める手法

スポンサーリンク

STI-OPDが、ツール利用や長文の対話タスクで既存手法をすべて上回った

この記事のポイント

  • 多ターン作業で誤差が蓄積する
  • 教師の介入確率で制御する
  • 全ベンチで最強。ただし同系統のみ

どこで使えるか

多ターン作業で誤差が蓄積する環境向け。教師の介入確率で制御する arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Junnan Liuらの研究チームが、arXivに論文を発表しました。強いモデルから弱いモデルへ知識を移す「オンポリシー蒸留」という手法で、多ターン型の対話タスクにおいて、教師モデルが学生の判断を確率的に介入する「STI-OPD」という新しいフレームワークを提案しています。
何回もやり取りする作業ですね。学生の判断が外れると、その後の展開が教師モデルの想定からずれてしまうんですか?
はい。最初の応答で少し間違えると、その後の応答が次々と狂い、教師モデルが示す正しい答えの分布から大きく逸脱してしまいます。すると、教師モデルの指導が逆効果になる恐れがあります。
ずれの大きさを基に介入するかどうかを確率で決めるんですね。その「ずれ」をどう測っているんですか?
KLダイバージェンスという数式で測ります。学生モデルと教師モデルの出力分布の差を計算し、その値を介入確率に置き換えます。例えば、生徒の解答と模範解答のズレが大きいほど、先生が介入する確率を上げるイメージです。確率に従ってサンプリングすることで、介入と学生の自主的な試行を自動で切り替えています。
模範解答とのズレで介入頻度を変えるんですね。介入した回と学生が自分で出した回が混ざることで、学習の目標自体が崩れてしまわないんですか?
重要度重み付きReverse KLという目的関数で補正します。教師モデルの指示と学生モデルの方針のズレを重み付けして調整し、混ざり合ったデータからでも元の蒸留の目的を維持します。
重み付けで調整するんですか。そこがまだ掴めません。どうなるんですか?
例えば、先生が代筆した答案と生徒が書いた答案の配点の仕方を調整し、混ざり合ったデータからでも元の目標通りに学習できるようにしています。
代筆答案と自筆答案の配点を調整するんですね。実際にどのくらい性能が上がったんですか?
ツールを活用した推論や長時間の対話タスクで、これまでの最強のベースラインを上回る結果を出しています。評価したベンチマークすべてと、学生モデルのサイズすべてで最上位を記録しました。
トップなんですね。現場でこの手法を組み込む場合、学生の探索を阻害しないよう、介入のタイミングはどのように決めているんですか?
介入確率はKLダイバージェンスの値に応じて連続的に変動します。学生モデルの出力が教師モデルに近づくほど介入確率は下がり、逆にズレが大きくなると上がるため、学生の探索を阻害することなく必要な場面だけ介入しています。
ズレに応じて介入頻度を変え、学生の試行を削らないようにしているんですね。最後に、既存のモデルにそのまま適用できるんですか?
手法はツール統合推論や長時間対話のベンチマークで最良のOPDベースラインを上回り、学生モデルのサイズによらず優れた結果を示しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文