OPDで応答が長くなる原因を解明する論文、EOSトークンの不一致を修正する手法

論文

OPDで応答が長くなる原因を解明する論文、EOSトークンの不一致を修正する手法

スポンサーリンク

EOSトークンの不一致がOPDでの応答長化の原因。修正手法で抑制に成功。

この記事のポイント

  • OPDで応答が過長化する原因が不明だった
  • Qwen3等3モデル族でEOSトークンの不一致を修正
  • 3モデル族で過長化を抑制。ただし訓練後期にも発生

数字で見る

この記事に出てくる数字

モデルファミリ 3
学習段階 K2-Horizon

どこで使えるか

論文で実装を公開済み EOSトークン処理の修正を含む

動画を見る

スポンサーリンク

解説

かみくだいて説明します

私たちの研究室でも、オンラインポリシー蒸留で生徒モデルが回答を必要以上に長く生成してしまう現象が起きるんですよね?
確かにその通りです。教師の出力を模倣する過程で生徒が延々とトークンを生成し続け、生成予算を消費し尽くす問題が報告されています。
既存の停止条件の調整だけで解決できないんですか?
単純な調整では壁にぶつかります。ベースモデルと後訓練された教師モデルでは宣言された停止セットが同じでも、実際に停止確率を置くEOSトークンが異なることが判明しており、これが生徒の自然な終了動作を抑制してしまうのです。
arXivで公開された今回の研究では、この終了トークンの不一致を体系的に解明し、対応策を提示しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
機能同等のEOSトークンを一つの意味的な停止アクションとして統合する手法です。言語が違う二人が別々の合図で会話を終えていたのを、共通のジェスチャーで同期させるイメージですね。
なるほど!トークンの意味単位で同期すれば、モデルごとの癖が原因のズレは解消されるわけですね!
その通りです。停止セットを揃えるだけでは足りず、働きが同じ終了トークンを一つの停止動作として扱う修正を組み込んだ実装も公開しています。
改善効果はどのくらいあるんですか?
単なる停止セットの整合化だけでは不十分でしたが、意味的な停止アクションの統合により、Qwen3やLlama、Gemmaの全モデルファミリーで不一致起因の長さ膨張を大幅に低減できました。
従来のナイーブなGPU実装と比べるとどうなりますか?
そして、この論文で提案した終了トークンの扱いの修正を組み込んだ実装も公開しているので、気になる人は実際に自分の手で確かめてみることもできるんですよ。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
おっしゃる通りです。訓練段階が進むにつれて終了偏好が大幅にシフトし、停止アライメントを超えた段階でも長さ膨張が持続する現象が確認されており、この手法は重要な要因の一つを解消するに過ぎません。
実際の試し方はどうすればいいんですか?
修正対応を組み込んだ実装コードを公開していますので、既存の蒸留パイプラインに組み込んで実験してみてください。
終了記号の食い違いを揃えると三つのモデル系統で長さの膨らみがかなり減りましたが、それで全部説明できるわけではなく、訓練の後半に別の膨らみが残るそうです。
確かに!生成コストの最適化が進んで、より実用的なモデル開発が加速しそうですね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文