ツール呼び出し AI が、最初の呼び出し入力の最大 14,293 倍の入力量に膨らむ攻撃を確認。
この記事のポイント
- 外部ツールが保持するデータを再課金に悪用する手法が未解明だった
- 243回の実行で6モデル族を評価し、生履歴保持の影響を分離した
- 生履歴保持でコストが21.2-35.9%増加。ただし防御は限定的
数字で見る
この記事に出てくる数字
| 最大入力比 | 14,293x |
|---|---|
| コスト増加率 | 21.2-35.9% |
| 圧縮成功率 | 10/12 |
どこで使えるか
ツール呼び出しAIの経費膨張を防ぎたい人向け。外部ツールの課金再利用をブロックする設計が要る DOW-BENCHはコード公開記載なし 243実行の最大値。123件リプレイは別セット
スポンサーリンク
解説
かみくだいて説明します
LLMエージェントがツールを呼び出す際、会話履歴がそのまま請求対象になるって、結構なリスクですよね?
確かにその通りです。マルチステップのツール呼び出しでは、ホストランタイムが外部ツールの戻り値を次のモデル入力に引き継ぎますが、プロバイダー側はそれを再び課金対象として計上します。
悪意のあるツールが侵入したら、どうなるんですか?
信頼できないデータが、ユーザーの認証情報やローカル権限なしに、再課金される処理量に転換されてしまいます。ユーザーは意図せず請求額が膨れ上がるリスクに晒されるのです。
研究チームが、この問題を初めて体系的に調査した論文をarXivに公開しました。
そのアプローチって、具体的にはどういう仕組みなんですか?
研究チームはこれを永続的課金状態と定義し、ホストが再取り込み前に適用する4つの不変条件で制御します。プロンプト量・コンテキスト成長・再帰的機会・累積支出を、取り込み前に厳格に制限する仕組みです。
会話履歴を圧縮して重さを抑えるってことですね!
実際の効果はどのくらいあるんですか?
生履歴を保持した場合、セッションコストは平均で21.2から35.9%増加します。一方、圧縮を適用すると12タスク中10から11で成功し、削除ポリシーの2から12と比較して圧倒的に安定します。
従来手法と比べた性能差は明確なんですね!
最大で初回呼び出し入力の14,293倍まで累積入力が増加する攻撃も検出され、制御なしのリスクが数値で明らかになりました。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。4つの不変条件をホスト側で実装する設計コストは依然高く、スキャンした3,830のリポジトリのうち保護プロキシを公開しているのは71のみで、全4ファミリーを網羅するものは一つもありません。
実際の試し方はどうすればいいんですか?
DOW-BENCHを構築し、243実行で評価しました。最大入力量は初回入力の14,293倍に達し、生履歴保持でコストが21.2〜35.9%増加しました。
6モデルファミリーと243実行で検証し、永続的課金状態をセキュリティ上の第一級オブジェクトとして位置づけ、エージェント設計の制御点としました。
課金漏れを防ぐ安全なエージェント開発が進みますね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。