音声品質予測の脆弱性評価が、補正により最大4倍異なり、攻撃者5体で成功率に0から0.38の幅が出た。
この記事のポイント
- 従来の測定には2つの欠陥がある
- 修正プロトコルで4つの指標を評価
- NISQAが90%でハックされるが防御は限定的
数字で見る
この記事に出てくる数字
| NISQAハック率 | 90% |
|---|---|
| SSL-MOSハック率 | 21% |
| DNSMOSハック率 | 14% |
どこで使えるか
音声品質予測器の脆弱性を正しく評価したい人向け。複数攻撃者で worst case を見る必要がある 論文ページからコード公開が記載あり コード・事前登録・実行出力がリリース
スポンサーリンク
解説
かみくだいて説明します
Ali Alaviらの研究チームが、音声品質を測る予測モデルの書き換えやすさを調べた結果、既存の評価方法では最大で四倍、具体的には 0.31 から 0.08 まで数値が変わることを明らかにしました。
数値が変わるなら、防御の効果が本当に見えないかもしれませんね。どう測り直したんですか?
攻撃を加えた音声と元の音声を比べる従来の手法では、音声を変換するコーデックという処理が点数を自然に動かしてしまい、ある防御策では変換後の音声を基準に比べ直すと数値が最大4倍まで変わった。
勝手に上下するなら、本当の威力が見えなくなりますね。では、正しい測り方ではどのくらい違うんですか?
修正した評価基準で四つのモデルを調べたところ、NISQA は 90% の発話で書き換えられ、SSL-MOS が 21%、DNSMOS が 14%、UTMOS が 6% でした。
90% がやられるなんて、防御として使えないレベルですよね。対策は効果があるんですか?
攻撃を検出して防御する仕組みを試しましたが、攻撃者が使う手口に対応する範囲しか硬くならず、攻撃者間の spread よりも小さい改善でした。一つの攻撃者だけだと成功率が 0.00 から 0.38 まで変わるため、防御の主張には複数の攻撃者で最悪ケースを見る必要があるということです。
最悪ケースを見る必要があるんですね。では、防御を強化した先の話はどうなるんですか?
防御した予測モデルに対して改めて学習させた音声向上モデルは、攻撃による点数低下が PESQ でマイナス 0.03 にとどまり、従来のマイナス 0.23 を大きく上回りました。
点数低下が大幅に減ったんですね。研究している人から見ると、どこが新しいんですか?
音声品質の予測モデルを防御する手法が、攻撃者の手口だけに特化していた点を修正し、複数の攻撃者で評価する基準を提示した点です。コードと実験結果を公開しています。
最後に、実用化に向けた課題はありますか。
防御は攻撃の手口に合わせて強くなるだけで、分布外では最大でシステム SRCC が0.30下がるとコードなどが公開されています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。