LLM の層ごとの有害性の変化を解析するHerald、入力モデレーター

論文

LLM の層ごとの有害性の変化を解析するHerald、入力モデレーター

スポンサーリンク

Heraldが、層ごとの有害性の軌道から入力を判定する仕組みを発表した。

この記事のポイント

  • 有害プロンプトの最終トークン
  • 7次元の特徴量記録を288パ
  • 8つのベンチと4つの模型

どこで使えるか

有害判定の仕組みを自前で実装したい人向け。学習不要で推論コストはほぼゼロ。 論文で提案済み、コード公開は記載なし 32層・d=4096で262KB、推論時追加FLOPs極小

スポンサーリンク

解説

かみくだいて説明します

Noor Islam S. MohammadさんとUluğ BayazıtさんがarXivに発表した研究で、大規模言語モデルが有害なプロンプトを受け取ったとき、内部の層が深くなるにつれて有害性の数値が単調に上昇する現象を特定しました。安全なプロンプトの場合は数値が横ばいになるか振動するだけで、この層ごとの軌道形状が有害な意図を判別する手がかりになります。
層が深くなるほど数値が上がると言うのは、モデルが内部で有害な意味をどんどん強めて処理しているということですか。
そうです。例えば汚れた水がパイプを通るたびに不純物が濃縮されていくイメージです。表面の言葉は最初の層で出てきますが、本当の意図が定まるのは最後の層なので、どこで有害性が決まるかを軌道で見える化しています。
見えた軌道を使って有害性を判定するツールも開発したんですか。
はい。HERALDという名前で、層ごとの有害方向を一つずつ保存するだけで、パラメータ数が288の小さなモデルで分類します。32層で次元が4096のモデルなら262キロバイトの容量で済み、推論時の追加計算量も2.6×10⁻⁶フロップスと極めて小さいです。
容量も計算量も抑えられているのは、現場の組み込み側からすると嬉しいですね。既存のガードモデルと比べてどれくらい精度が上がったんですか。
OLMo2-7Bで平均F1スコア89.3を達成し、有害な意図を隠してモデルを騙す jailbreak 検出では98.4対96.9で既存のガードモデルを上回りました。正解率に近い精度を示すこの数値で、従来の手法に対しても2.3から4.1ポイントの差をつけています。
検出精度が上がっただけでなく、軌道データ自体が機械が読める監査記録になるんですか。
正確にはそうです。どの層で有害性が現れ、どう強まったかを残すので、単に有害か安全かだけを返す従来の手法より、なぜその判定になったかの根拠を後から追えます。
では、この軌道パターンは全てのモデルで同じように見られるんですか。
4つのモデルファミリーで確認していますが、特定のアーキテクチャに限定されるかどうかなど、まだ解けていない部分もあります。そこはまだ分かっていません。
最後に、実用化に向けて一番気に留めておくべき点はどこですか。
勾配不要で低コストなので実装は簡単ですが、262キロバイトのメモリと2.6マイクロフロップスの追加コストが、大規模モデルへの組み込みには十分小さいと言えますか。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文