PGD攻撃でMNIST分類精度が0.41%まで低下、テキスト分類は逆転せず。
この記事のポイント
- テキスト分類で敵対的攻撃の影響が不明確だった
- MNISTとSMSデータで白箱攻撃を再現評価した
- 画像は脆弱だがテキストは頑健。ただし限定的なノイズのみ
数字で見る
この記事に出てくる数字
| MNIST精度 | 98.63% |
|---|---|
| F1スコア | 94.96% |
どこで使えるか
画像分類モデルの耐性を評価したい人向け。テキスト分類の頑健性は限定的な評価になる arXivで公開済み 教育用・再現可能な研究
スポンサーリンク
解説
かみくだいて説明します
ミノット州立大学のパーカー・ハメルさん、ライネ・スカボさん、ムハンマド・アブサケルさんの研究チームが、敵対的ノイズで機械学習の分類器を回避する手法について、再現可能な教育用研究を arXiv に公開しました。画像分類の実験では畳み込みニューラルネットワークが正解率 98.63% を記録しましたが、FGSM という攻撃でノイズの強さ イプシロン を 0.15 にすると 60.20% に、イプシロン を 0.30 にすると 1.72% まで落ち込みました。
画像の方は攻撃で正解率が激しく下がったんですね。では、テキストの方の実験では、どれくらい下がったんですか?
テキストの方は SMS のスパム判定を DistilBERT というモデルで行い、正解率 98.75%、F1 スコア 94.96% を出しましたが、文字の置き換えや空白の追加、意味のある接尾辞の付与という操作を順番に加えても、確率の動きは控えめで、スパムをハムに反転させる結果にはなりませんでした。
画像とテキストで結果が全然違うんですね。では、攻撃を仕掛ける側から見ると、この差は何が原因で生まれるんですか?
研究チームは、この差はデータの種類、つまりモダリティに強く影響されると結論づけています。画像はピクセルの値を少しずらすだけでモデルが迷いやすいため攻撃が成功しやすく、テキストは文字の並びに意味の構造があるため、同じノイズを加えても判定が反転しにくいと考えられます。
モダリティが原因なんですね。専門用語なので少し噛み砕いていただけませんか?
分かりやすく言うと、画像は写真の画素を少し歪めるだけでモデルが間違えやすいため、テキストは文章として意味が通るようにノイズを加える必要があるため、攻撃の難易度が大きく変わるということです。
画像は画素を歪めるだけで簡単で、テキストは意味を壊さないようにする必要があるから難しいんですね。では、モデルを作っている技術者は、正解率が高いから安心とは考えずに、実際に攻撃を仕掛けてから守りの強さを測る必要があるということですか?
そうです。研究チームは、クリーンな状態での正解率が高いからといって防御が強いと推測してはならないと指摘しています。実際にノイズを加えた状態でのテストを必ず行う必要があります。
守りの強さは実際に試してみないと分からないんですね。では、画像の方で使われたビット深度削減という防御手法は、どれくらい正解率を戻すことに成功したんですか?
ビット深度削減による回復は部分的でした。ノイズで失われた正解率を完全に元に戻すことはできず、ある程度まで回復させたところで止まっています。
部分的にしか回復しなかったんですね。最後に、この研究は攻撃手法の紹介にとどまらず、防御側の評価手法としても使えそうですか?
本研究は画像分類とテキスト分類での回避攻撃を検証した再現可能な教育用の研究で、頑健性はきれいな精度からではなく実際に試して確かめる必要があると述べている。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。