AI エージェントの行動を状態に応じて制御する Sapien、セキュリティポリシーの適用

論文

AI エージェントの行動を状態に応じて制御する Sapien、セキュリティポリシーの適用

スポンサーリンク

Sapienが、エージェントの攻撃を最大 95% まで排除するポリシーエンジンを提供した

この記事のポイント

  • 多段階タスクで状態保持が課題
  • 正規表現拡張で状態保持ポリシーを実装
  • AgentDojoで攻撃の93-95%を排除

どこで使えるか

多段階タスクで状態管理を組みたい人向け。正規表現拡張でポリシーを定義可能 arXivで公開済み AgentDojoとToolathlonで評価

スポンサーリンク

解説

かみくだいて説明します

Corinn Tiffanyらの研究チームが、2026年10月1日にarXivへ論文を公開しました。人工知能の自律エージェントが勝手に悪いことをするのを防ぐ仕組み、Sapienです。長期的なタスクで93から95%の攻撃をブロックできます。
勝手に悪いことをするのを防ぐんですね。作る側からすると、今使っているエージェントにこの仕組みを組み合わせるのは難しいんですか?
Sapienはポリシーエンジンとして、エージェントのツール呼び出しにルールを自動で適用し、タスク固有の方針を強制します。
自動でルールを作るんですか。前の操作の結果を見て、次の操作のルールを決めるということですね。
正確にはそうです。ただの許可リストではなく、過去の操作の履歴を覚えておいて条件を満たすときだけ次のステップを許可する仕組みです。銀行のATMで、暗証番号を入力した後に引き出し金額を聞かれる流れに似ています。
暗証番号の後の流れですね。では、攻撃を9割以上ブロックできるとのことですが、それはエージェントが完全に乗っ取られた状態でも同じ効果があるんですか?
乗っ取られた状態でも効果はあります。エージェントが攻撃者の指示で動いたとしても、Sapienが設定したルールから外れる操作はすべて拒否します。AgentDojoという試験環境では93から95%、Toolathlonでは62から85%の攻撃を排除できました。
完全に乗っ取られても拒否するんですね。従来の許可リストと比べて、どれくらい差が出るんですか?
長いタスクでは、従来の許可リストのおよそ2倍の攻撃をブロックできています。許された操作だけを並べる従来の方法だと、次のステップが読めずにブロックしきれないケースが減るということです。
読めずにブロックしきれないケースが減るんですか。では、ルールを厳しくしすぎると、普通の作業の効率も下がってしまうんですか?
効率の低下はほとんどありません。無制限に動かした場合と比べて、およそ数パーセントの損失にとどまっています。
効率の低下が数パーセントですね。最後に、この仕組みは現在公開されているツールやモデルにすぐ使える状態ですか。
論文には試験環境での結果が記載されていますが、一般のツールやモデルへの組み込み時期や具体的な対応予定については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文