モデルの重みに任意の計算を隠すバックドア攻撃と、その検出限界の話

論文

モデルの重みに任意の計算を隠すバックドア攻撃と、その検出限界の話

スポンサーリンク

バックドア攻撃が、モデルの重みに任意の計算を暗号化して隠し、検出を回避した

この記事のポイント

  • 隠し能力は引き出せるとされてきた
  • 重みに暗号化回路を埋め込んだ
  • テスト手法で隠蔽を確認した

どこで使えるか

モデルの安全性評価を信頼したい人向け。暗号化されたバックドアの検出限界を示す モデルは論文付属で公開済み PyTorch実装、化学反応予測タスク

スポンサーリンク

解説

かみくだいて説明します

Andis Dragunsらの研究チームが、人工知能のモデルに秘密の能力を隠す手法を、論文で公開しました。能力評価で危険な動きを探る際、隠し機能が必ず引き出せると仮定していますが、この手法では暗号化された別のニューラルネットワークをモデルの重みに埋め込み、特定の合言葉が出たときだけ解凍して動かす仕組みになっています。
合言葉が出たときだけ動くんですか? 重みを全部見ても、隠し機能が見つからないわけですね。
正確には、重みを全部開示された状態でも、隠し回路を特定したり解釈したりするのが、暗号理論の仮定の下で証明できるほど難しいということです。金庫に特殊な鍵をかけるように、中身が外部から見えない状態になっています。従来の手法では隠すのが文字列だけでしたが、今回は任意の計算処理まで隠せるように拡張しています。
文字列から計算全体まで隠せるようになったんですね。では、研究している人から見ると、これまでは何ができていなかったんですか。
これまでは、モデルの重みを解析すれば隠し機能は必ず見つかるという前提で評価が成り立っていましたが、今回の手法ではその前提が崩れます。PyTorchで実装した試作モデルを使って、微調整や重みにノイズを加える手法、勾配を使った合言葉の探索、隠れ層での敵対的学習という4つの引き出し方を試しましたが、いずれも隠し機能は動きませんでした。
4つの手法を全部試したんですか。作り手側からすると、手元で動かすのに何が要るんですか。
動かすには、モデルに組み込む段階で暗号化されたサブネットワークを重みに埋め込み、合言葉を設定する必要があります。研究チームは防御側の改善を目的に、完成したモデルを公開しています。
防御側の改善のために公開するんですか。では、人工知能を使う側から見ると、使っている道具のどこが変わりますか。
正確には、人工知能を使う側が直接触れる部分には変わりません。評価チームがモデルを点検する段階で、隠し機能が必ず見つかるという保証がなくなったということです。化学や生物、放射能、核に関連する能力を模したタスクで実証していますが、実務で使うモデルにこの手法が既に組み込まれているかどうかは、そこはまだ分かっていません。
点検の保証がなくなったということは、評価そのものが難しくなるということですね。最後に、今後この手法が実際に使われる見通しはありますか。
研究チームは防御側の改善を目的に公開していますが、攻撃側の利用が実際に増えるかどうかは予測が難しいです。今後は、こうした隠し機能を検出する新しい評価手法の開発が求められます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文