LLaMA-3.1-8B の内部状態から有害入力を検出する手法、外部ガードレール不要の安全対策

論文

LLaMA-3.1-8B の内部状態から有害入力を検出する手法、外部ガードレール不要の安全対策

スポンサーリンク

LLaMA-3.1-8Bの内部状態から有害入力を検出。1000倍小さいモデルで既存手法に迫る性能。

この記事のポイント

  • 外部ガードモデルは内部状態を見ない
  • 8Bモデルの活性化から軽量分類器を学習
  • WildJailbreakで99%、他は83%と84%

数字で見る

この記事に出てくる数字

パラメータ数 12.6M
モデルサイズ比 1000倍

どこで使えるか

推論時のレイテンシを削りたい人向け。外部モデルの呼び出しを挟まず、モデル内部だけで安全性判定ができる。 論文のコード公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Alizishaan Khatri, Chiquita Prabhu, Omkar Neogi たちの研究チームが、大規模言語モデルの内部状態から有害なプロンプトを検出する手法を発表しました。LLaMA-3.1-8B の活性化を抽出して 12.6M パラメータの MLP 分類器を訓練し、WildJailbreak で F1 スコア 99%、Beavertails で 83%、AEGIS 2.0 で 84% を達成するとともに、遅延と計算コストを削減できると報告しています。
内部状態から検出するという話ですね。作る側から見ると、モデルの内部情報を使うだけで、外付けの安全装置がいらなくなるんですか。
外付けの装置を必要とせず、モデル自身が持っている情報を直接読み取ります。これまでの外部ガードレールはモデルの内部を全く見えない状態で判断していたので、見落としが生じていました。今回は中から安全を担保する形になります。
外付けがいらないんですね。内部状態というのがまだ掴めません。もう少しやさしく言うと、どういった情報を使うんですか。
言語モデルが言葉を処理するときに、内部で起こっている信号の変化です。文章を読んだときに、どの単語に注目して次の言葉を予測しているかの動きを、そのまま安全判定に使う形になります。
単語への注目度を安全判定に使うんですね。遅延と計算コストは、どれくらい削減できるんですか。
F1スコア99%など同等の検出精度で、1000倍大きいガードモデルと比べて遅延と計算コストを大幅に削減できると報告されています。
1000x 大きいモデルと同等の性能で、しかも軽い。実装する側からすると、既存のシステムと置き換えるだけで済みますか。
12.6M パラメータなので、従来の重たいガードモデルを差し替えるだけで済みます。リソースが限られた環境でも、時間制約が厳しい処理に組み込めるように設計されています。
では、訓練に使うデータセットや分類器のコードは、公開される見込みですか。
公開の有無や入手方法については、そこはまだ分かっていません。
最後に、実用化に向けた次のステップは何ですか。
LLaMA-3.1-8Bの活性化から学習した軽量のMLP分類器が、既存のガードレールモデルに匹敵する性能を達成したことが示されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文