AI Agentの決済承認を評価するAPort Vault、14モデルの攻撃耐性を検証する話

論文

AI Agentの決済承認を評価するAPort Vault、14モデルの攻撃耐性を検証する話

スポンサーリンク

APort Vaultが、Open Agent Passport ありで不正送金をゼロに抑えた。

この記事のポイント

  • ツール利用AIの支払い承認境界が不明確だった
  • 4,371攻撃を14モデルで225,964回評価
  • OAP層が不正送金をゼロに抑えたが拒否は限定的

数字で見る

この記事に出てくる数字

攻撃数 4,371
評価数 225,964
モデル数 14

どこで使えるか

OAP準拠の事前チェックで許可外宛先への送金を防ぎたい人向け。 Hugging Faceで公開済み スコアリングコードと分析スクリプトも公開

スポンサーリンク

解説

かみくだいて説明します

AIエージェントが自動決済を行う際、承認プロセスって結局のところどうなっているんですか?
確かにその通りです。モデルが勝手に情報を送信し、決済が完了するリスクは現場で増えますが、それを防ぐ承認の仕組みが標準化されていないのが現状です。
従来のルールベースのフィルタリングだと、攻撃パターンが増えるたびに手動で対応が必要ですよね?
その通りです。ルールベースの手法では、攻撃パターンが増えるたびに都度対応が必要で、スケーラビリティに課題があります。
そこでarXivに公開されたAPort Vaultが注目です。Open Agent Passportという仕様に基づいた、決定的な事前チェック層をモデルの前段に配置する手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
要するに、エージェントがAPIコールを発行する直前に、パスポートという許可リストと照合するゲートウェイを噛ませる構造です。225,964件の評価で、14モデル、5つのポリシー設定、2つのリプレイトラックで検証しています。
なるほど!つまりモデルの推論結果を待たずに、送信前の段階で遮断するんですね!
実際の防御効果はどれくらいあるんですか?
人間が書いた4,371件の攻撃を225,964回評価した結果、モデル単独では140件の不正送金を許容していましたが、OAP層を噛ませた場合、不正送金は0件を記録しました。
140件ではなく完全にゼロなんですか? 許可された決済とのバランスはどうなっているんですか?
層内では25,370件の正常な決済が実行され、一方、187件の送信呼び出しをポリシーで拒否しています。790のセッションにまたがるデータから、セッションあたりの上限は0.38%と算出されています。
でも、特定の決済ドメインに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
22万5,964件の評価結果、レベルごとのパスポート、スコアリングコード、分析スクリプトをすべて公開しています。
実際の試し方はどうすればいいんですか?
Hugging Faceで225,964件の評価データとスコアリングコードが公開されており、GitHubでエージェントガードレールの実装も入手できます。自前のモデルで再現する際は、事前チェック層のAPI連携から試してみてください。
225,964件の評価で14モデルを横断検証したエージェントの承認境界は、140件の許可外送金を検出しました。
225,964件の評価で14モデルを横断検証したエージェントの承認境界は、140件の許可外送金を検出しました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文