言語モデルの出力を歪めずに報酬を上げる手法、推論時の制御パラメータを調整する話

論文

言語モデルの出力を歪めずに報酬を上げる手法、推論時の制御パラメータを調整する話

スポンサーリンク

MISVOが、推論時の制御でモデルの出力を歪めずに報酬を上げた。

この記事のポイント

  • 報酬最適化は出力品質を低下させる
  • 局所KL幾何で介入を罰する手法
  • 1B〜14Bモデルの7設定中6つで最高

数字で見る

この記事に出てくる数字

モデル規模 1B--14B

どこで使えるか

推論時に報酬を上げたい人向け。品質低下を抑えて制御できる 論文公開済み 1B-14Bモデルで評価済み

スポンサーリンク

解説

かみくだいて説明します

学習済みの言語モデルに追加ベクトルを足すだけでテスト時の報酬に最適化できると聞きましたが、本当にパラメータを更新しなくても品質が落ちないんですか?
確かに、フリーズしたモデルの最終層の隠れ状態にベクトルを挿入する手法は推論時の制御として注目されていますが、無制限に報酬を最適化すると生成分布が大きく狂うリスクがあります。
既存の手法だと、報酬を上げる代わりに文章が崩れてしまうんですよね?
その通りで、正則化をかけずに報酬最大化を進めると出力分布が大幅に変化し、生成品質が著しく低下します。
そこでarXivに投稿されたMinimally Invasive Steering Vector Optimization、通称MISVOという手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
誘導されるトークン分布の局所的なKL幾何学を用いて介入をペナルティ化し、フィッシャー情報行列の二次形式で分布感度を測ります。勾配はフリーズしたモデルのヘッド部分との行列ベクトル積で解析的に計算できます。
行列とベクトルの積で勾配が求められるなら、計算コストも抑えられそうです!
固定生成ホライズンではサフィックス項が制御強度に対して2次オーダーになるため、3種のフィッシャー近似が完全なKL勾配と1次まで一致します。これによりモデルパラメータを更新せずに位置固有の介入最適化が可能です。
実際の性能向上はどれくらい期待できるんですか?
約1Bから14Bパラメータのモデルで選好タスクとコード生成タスクを評価した結果、7つのモデルタスク設定のうち6つで最高平均報酬を達成しています。多様性と一貫性スコアもベスト・オブ・Nに匹敵する水準を維持しています。
7中6で最上位なら、実用レベルの制御精度を確保できていると言えますね。
生成品質の劣化を避けるため、局所的なKL幾何に基づくペナルティで制御しています。
でも、特定のタスクに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。局所的なKL幾何学に基づく近似であるため、分布の感度を測定し、フリーズ状態の制約下での最適化を行うことで、モデル本来の能力を損なわないように設計されています。
実際に自分で動かすときはどうすればいいんですか?
モデルの重みは一切更新せず、最後の隠れ状態にベクトルを足すだけなんです。ペナルティの勾配も、凍結した言語モデルの出力層との行列ベクトル積で解析的に計算できるので、位置ごとの介入を最適化できるという構成ですね。
1Bから14Bパラメータのモデルで、6つの設定で最高の報酬を達成しています。
品質を損なわずに推論時制御ができるなら、実サービスへの導入がぐっと身近になりますね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文