Webエージェントの防御を強化するAdvSim2Real、攻撃者に適応する攻撃とタスクを共進化させる話

論文

Webエージェントの防御を強化するAdvSim2Real、攻撃者に適応する攻撃とタスクを共進化させる話

スポンサーリンク

Webエージェントの実質的な攻防を模擬内で再現し、未知の攻撃への完了率を33.6%上げた

この記事のポイント

  • 固定の注入で訓練する従来手法は、適応する攻撃者に破られた
  • 凍結モデル内でタスクと攻撃者が共進化させる訓練枠組みを導入した
  • 150タスクで未見の攻撃者に33.6%向上。実ブラウザへの転移も確認

数字で見る

この記事に出てくる数字

モデル規模 4B

どこで使えるか

適応攻撃に耐える防御を自前で組む人向け。凍結モデル内で共進化させる arxivで公開済み シミュレータでの訓練結果

スポンサーリンク

解説

かみくだいて説明します

Sarim Hashmiらの研究チームが、ウェブ上のエージェントを攻撃から守る新しい学習手法 AdvSim2Real を発表しました。150 のウェブタスクで、見知らぬ攻撃者に対しても完了率が 33.6% 向上します。
従来の方法だと、あらかじめ固定された攻撃しか想定できなかったんですね。
従来の手法は訓練前に攻撃パターンを固定していたため、攻撃側が学習したモデルに合わせて手を変えると突破されていました。AdvSim2Real では、ウェブの世界を再現した仮想空間、いわゆる世界モデルの中で、攻撃側と防御側のエージェントが同時に進化する仕組みになっています。まるでゲームのシミュレーターで対戦相手を育てるように、双方が互いに手を磨き合います。
仮想空間の中で互いが同時に強くなっていくんですね。
タスクはエージェントがちょうど半分くらいの確率で解ける難易度を選んでいます。攻撃側は、今まで正解していたタスクを間違わせることにだけ報酬が与えられます。これにより、すでに完遂できるタスクで練習が止まるのを防いでいます。
ちょうど良い難易度で練習させるんですね。実際に動かすのは 4B のモデルだけですが、その能力は本物のブラウザでも活かせるんですか?
仮想空間で訓練したモデルは、攻撃の有無に関わらず処理能力が上がりました。さらに訓練していない最先端モデルの攻撃にも耐え、得られた能力は本物のブラウザでもそのまま発揮されます。
訓練していない攻撃者にも強いというのは驚きです。成功を失敗に切り替えるという攻撃の条件が、なぜそこまで効くんですか?
そこはまだ分かっていません。正解を逆転させる攻撃だけを対象にしている点は確認できますが、それ以上の説明は確認できていません。
シミュレータでの訓練結果と実ブラウザへの転移可能性は確認されています。
本物のブラウザでの動作確認は完了していますが、実際のウェブ環境での長期運用や、他の規模のモデルへの適用結果については、そこはまだ分かっていません。
最後に、この手法が今後どのように発展していくと見込まれるんですか?
本手法で学習させた4Bエージェントは、未学習の攻撃者に対しても完了率を保ち、実ブラウザでも能力の向上が引き継がれました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文