カテゴリ固有の有害性信号は、モデルの安全性にカテゴリごとに異なる影響を与える
この記事のポイント
- 一般有害表現を除去したカテゴリ残差
- カテゴリごとに有害性符号と拒否が異なる
- 共有一般有害表現との下流アライメント増加
数字で見る
この記事に出てくる数字
| リスクカテゴリ数 | 11 |
|---|---|
| モデル数 | 3 |
どこで使えるか
カテゴリ固有の有害性表現を分離して制御したい人向け。拒否誘発の有無はモデル依存する arXivで公開済み モデル固有の挙動あり
スポンサーリンク
解説
かみくだいて説明します
KAISTの4人の研究者が、大規模言語モデルの内部にある有害な表現について、11のリスクカテゴリーで実験を行いました。モデルが危険な質問を扱うとき、一般的に有害だと判断する部分とは別に、カテゴリーごとに固有の信号があることが分かっています。
カテゴリーごとに固有の信号があるというのは、モデルが危険だと思い込んでいる部分に、種類ごとの細かな違いがあるということですね。それはモデルが拒否するかどうかにも関係してくるんですか。
関係します。ただ、拒否するかどうかのカテゴリーごとの傾向は、モデルによって違う部分があります。同じ信号を出しても、モデルが拒否するかどうかは、個々のモデルの性質に左右されやすいということです。
拒否の部分はモデルによって違うと。では、実験で使ったアクティベーション・ステアリングというのは、そのカテゴリー固有の信号を直接操作して動きを変える手法ですか。
そうです。カテゴリー固有の部分だけを切り出して、モデルの内部に働きかける手法です。一般の有害性とは直交する方向に信号を向けるので、一般的な拒否反応を壊さずに、特定のカテゴリーだけの影響を測れます。
直交するという言葉がまだ掴めません。もう少しやさしく言うとどうなりますか。
一般的な有害性と、まるで別の軸に信号を向けるということです。水道の配管で例えると、水道全体の圧力を下げずに、特定の蛇口だけから出る水の量を変えているようなものです。
水道全体の圧力を下げずに、特定の蛇口だけを変えられると。研究している人から見ると、どこが新しい発見だったんですか。
一般の有害性とは別の方向にある信号が、最終的に有害性を強めるという結果です。層を重ねるたびに信号が逆方向に進んでいても、最終的には有害性の表現が拡大するということです。
公開の有無はまだ不明で、専門的な環境が要るということですね。一般の有害性とは別の方向にある信号が、最終的に有害性を強めるという結果も出ていたんですか。
出ています。安全対策を考えるとき、一般の成分だけで見ると、この裏側の拡大を見過ごすことになります。11のリスクカテゴリーで信号の encode され方や拒否への影響が異なっていたので、安全を完全に理解するには、カテゴリーごとの信号も一緒に見る必要があるということです。
裏側の拡大を見過ごすなら、安全対策では一般の成分だけでなく、カテゴリーごとの信号も一緒に見ないと不十分だと。最後に、この研究が今後のモデル開発にどう影響する見通しですか。
開発側は、有害性の検出や制御を一般の成分だけで行わず、カテゴリーごとの成分も組み込む方向に進むと考えられます。ただ、拒否の傾向がモデル依存であるため、どのモデルに適用するかも合わせて検証する必要があるでしょう。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。