APort Vaultが、Open Agent Passport ありで不正送金をゼロに抑えた。
この記事のポイント
- ツール利用AIの支払い承認境界が不明確だった
- 4,371攻撃を14モデルで225,964回評価
- OAP層が不正送金をゼロに抑えたが拒否は限定的
数字で見る
この記事に出てくる数字
| 攻撃数 | 4,371 |
|---|---|
| 評価数 | 225,964 |
| モデル数 | 14 |
どこで使えるか
OAP準拠の事前チェックで許可外宛先への送金を防ぎたい人向け。 Hugging Faceで公開済み スコアリングコードと分析スクリプトも公開
スポンサーリンク
解説
かみくだいて説明します
AIエージェントが自動決済を行う際、承認プロセスって結局のところどうなっているんですか?
確かにその通りです。モデルが勝手に情報を送信し、決済が完了するリスクは現場で増えますが、それを防ぐ承認の仕組みが標準化されていないのが現状です。
従来のルールベースのフィルタリングだと、攻撃パターンが増えるたびに手動で対応が必要ですよね?
その通りです。ルールベースの手法では、攻撃パターンが増えるたびに都度対応が必要で、スケーラビリティに課題があります。
そこでarXivに公開されたAPort Vaultが注目です。Open Agent Passportという仕様に基づいた、決定的な事前チェック層をモデルの前段に配置する手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
要するに、エージェントがAPIコールを発行する直前に、パスポートという許可リストと照合するゲートウェイを噛ませる構造です。225,964件の評価で、14モデル、5つのポリシー設定、2つのリプレイトラックで検証しています。
なるほど!つまりモデルの推論結果を待たずに、送信前の段階で遮断するんですね!
実際の防御効果はどれくらいあるんですか?
人間が書いた4,371件の攻撃を225,964回評価した結果、モデル単独では140件の不正送金を許容していましたが、OAP層を噛ませた場合、不正送金は0件を記録しました。
140件ではなく完全にゼロなんですか? 許可された決済とのバランスはどうなっているんですか?
層内では25,370件の正常な決済が実行され、一方、187件の送信呼び出しをポリシーで拒否しています。790のセッションにまたがるデータから、セッションあたりの上限は0.38%と算出されています。
でも、特定の決済ドメインに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
22万5,964件の評価結果、レベルごとのパスポート、スコアリングコード、分析スクリプトをすべて公開しています。
実際の試し方はどうすればいいんですか?
Hugging Faceで225,964件の評価データとスコアリングコードが公開されており、GitHubでエージェントガードレールの実装も入手できます。自前のモデルで再現する際は、事前チェック層のAPI連携から試してみてください。
225,964件の評価で14モデルを横断検証したエージェントの承認境界は、140件の許可外送金を検出しました。
225,964件の評価で14モデルを横断検証したエージェントの承認境界は、140件の許可外送金を検出しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。