DeBERTa-ConPara、推論時の正規化で攻撃耐性が上がる。
この記事のポイント
- 部署環境での検出精度が不十分だった
- Unicode前処理の配置を独立変数とした
- 前処理位置で効果が逆転した
数字で見る
この記事に出てくる数字
| RAID重複率 | 35.4% |
|---|---|
| AUROC | 99.61% |
| homoglyph検出率 | 96.98% |
どこで使えるか
攻撃耐性を推論時だけ活かしたい人向け。前処理位置で効果が逆転する点に注意 arXivで公開済み RAIDテスト用コードは記載なし
スポンサーリンク
解説
かみくだいて説明します
Mohamed Madyらの研究チームが、AIが生成した文章を検出する手法、DeBERTa-ConParaを発表しました。公式の隠しテストデータで検出精度が99.61%に達し、1%の誤検出でも96.57%の検出率を記録しています。
実環境での検出が難しいというのは、具体的にはどんなことなんですか?
学習させたデータと実際に検出する時の文章で、使われている言葉の傾向がずれてしまうことです。専門論文で学習したモデルがSNSの書き込みを見ると見分けられなくなったり、わざと文字を置き換える攻撃に対して検出率が下がったりします。
なるほど。文字の見た目を似せる攻撃と、幅のない文字を挿むやり方が効くんですね。
はい。今回の手法では、学習データには手を加えず、検出する時にだけ文字を正規化します。そうすると、homoglyph とゼロ幅文字の挿入という二つの攻撃に対して、検出率が11.05%と1.12%から96.98%まで回復します。他の十の攻撃クラスではこの効果は出ませんでした。
検出率が上がるのは二つの攻撃だけなんですね。なぜそこだけ特別だったんですか?
正規化によって文字の見た目が統一されるため、見かけは違うけど実体は同じ文章として認識できるようになるからです。手書きの文字をパソコンの文字に揃えるようなものです。この効果は別のアーキテクチャのモデルでも再現しているため、手法の違いではなく攻撃そのものの性質に起因するものです。
別のモデルでも同じ結果が出るのは安心ですね。では、学習データの正規化はなぜ逆効果だったんですか?
RAIDデータで学習データ側を正規化すると、35.4%の行が無害な側のコピーになって、攻撃を学習させる手掛かりが消えてしまうからです。
35.4%もコピーになってしまうんですか。では、この手法を実際のシステムに組み込むには、どのくらいの計算資源が必要なんですか?
そこはまだ分かっていません。発表された資料には計算コストや推論速度に関する具体的な数値は記載されていません。
固定閾値での精度は93.14%だったそうですが、実務で使うには十分なんですか?
十二の攻撃クラス全体で見ると精度が下がる部分もあるため、実務への適用範囲についてはそこはまだ分かっていません。
最後に、この手法は今後どのように発展していく見通しなんですか?
今後の展開として、ゼロショット検出器でも同様の効果が確認されたことが報告されています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。