拒否の仕組みは全体に薄く広がらず、わずかな部品に集まっていた
この記事のポイント
- 介入の仕組みは不明だった
- 4モデルで拒否方向を要素分解
- 28〜48%の要素で88%以上維持
どこで使えるか
拒否を抑制したい人向け。特定の重みや次元だけ介入すればよく、モデルも選ばない GitHubでコード公開済み 4つのオープンウェイトモデル対象
スポンサーリンク
解説
かみくだいて説明します
Vincent Siu さんを筆頭著者とする研究チームが、arXiv に論文を発表しました。大規模言語モデルがリクエストを拒否する仕組みを内部の成分ごとに分解した結果、拒否の指示は全体の 28--48% の成分に集中していることが分かりました。
限られた場所だけにあるなんて、意外ですね。拒否を誘導する効果は、どのくらい保たれるんですか?
そうです。注目した成分だけで、拒否を誘導する効果の 88--101% を維持できます。さらにその成分の中にある線形の次元に着目すると、およそ 50% の次元だけで、成分レベルの基準に対して 85--98% の効果を残せます。
なるほど。拒否の信号を運ぶ場所と、その中での細かな経路が、どちらも半分程度に絞れるということですね。
正確には、拒否という行動がモデル全体に広く散らばって記録されているわけではなく、構造化された特定のメカニズムで組み立てられているということです。研究チームはこれを特権的な基底構造と呼んでいます。
特権的な基底構造。つまり、必要な部分だけを取り出せばいいわけですね。
辞書の引き出しに例えると分かりやすいです。拒否に関連する言葉は、引き出し全体にバラバラに入っているのではなく、特定の引き出しの特定のページにまとめて収められている状態です。辞書全体を捜す必要がなくなります。
引き出しを限定してページだけ見れば済むわけですね。研究している人から見ると、どこが新しい発見だったんですか?
これまでは拒否を誘導する成分を、モデル全体から手探りで選んでいたのが実情でした。今回の手法では、必要な成分と次元を事前に特定できるため、拒否を制御する実験の効率が一気に上がります。
では、現場で実際に組み込む技術者にとって、公開されたコードだけで動かせる話なんですね。
研究チームは全てのコードと実験結果を GitHub に公開しています。公開されているコードと、対象のモデルを読み込めば、成分の絞り込みと拒否の誘導を試すことができます。
公開されたコードで、他のモデルでも同じように拒否を絞れる結果が得られる見込みはありますか。
論文では4つのオープンウェイトモデルで拒否のメカニズムを解明し、28〜48%のスパースなコンポーネントで88〜101%の効果を再現できることを示しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。