ツール呼び出しログからプロンプトインジェクションを検出する DriftNet、LLM エージェントの安全運用

論文

ツール呼び出しログからプロンプトインジェクションを検出する DriftNet、LLM エージェントの安全運用

スポンサーリンク

DriftNetが、ツール呼び出しログからプロンプトインジェクションを検出し、注入点を98.7%の確率で特定した。

この記事のポイント

  • 従来は全体判定か単一位置のみ
  • この手法は二つのヘッドで同時出力
  • テスト1回で0.983のF1値達成

数字で見る

この記事に出てくる数字

注入点回収率 98.7%

どこで使えるか

ツール呼び出しログから攻撃を検出し注入点を特定したい運用者向け。モデルへのアクセスなしで防御を組める arXivで論文公開済み AgentDriftベンチマークのタスク外分割で評価済み

スポンサーリンク

解説

かみくだいて説明します

Asif Pinjariらの研究チームが 2026年9月10日に公開した DriftNet は、大規模言語モデルを使うエージェントが攻撃を受けた経路と、乗っ取られた手順を、200万パラメータ未満のモデルで一度に判別します。
攻撃の経路と手順を一度に見つけるんですか。どうやってやるんですか。
通常の検出器が安全か危険かの二択しか出せなかったのに対し、DriftNet は二つの出力ヘッドを持ちます。一つは全体が攻撃に侵されているかどうかを判定し、もう一つは手順ごとの状態を安全、侵入点、乗っ取り済み、失敗した侵入の四つに分類します。つまり一つの処理で、全体判定とステップごとの位置特定を同時にこなす仕組みです。
四つのラベルを一つ一つ付けていくわけですね。モデルは攻撃された側の内部を覗かなくても動くんですか。
覗かなくて済みます。学習済みの文章埋め込みモデルと、エージェントの動作に関連する四つの特徴量だけで各手順を表現し、その後に推論ネットワークを通すだけです。攻撃対象のエージェントの重みや設計図にアクセスする必要はありません。
外部のモデルだけ使えばいいんですね。評価結果はいかがでしたか。
AgentDrift ベンチマークのタスク外れ分割で、12,536本の軌跡と 71,024ステップのラベルを使って測った結果、軌跡レベルの F1 が 0.983、攻撃軌跡の正確な侵入点特定率が 98.7%、乗っ取り範囲の IoU が 0.979 でした。防御が成功した 218ケースでは一切の誤検出がなく、困難な負例でも誤検出率は 2.9% です。
F1 や IoU というのは、具体的にどのくらいの精度を指すんですか。そこがまだ掴めません。
F1 は正しく見つけた割合と、見落としや誤検出のバランスを一つの数字にまとめたものです。 IoU は、攻撃が実際に広がった範囲と、モデルが特定した範囲がどれくらい重なっているかを示すものです。試験の答え合わせで、正解の丸囲みとモデルが引いた丸囲みの一致度を測るイメージです。
答え合わせの重なり具合で評価するんですね。同じデータで他の手法を再訓練したベースラインは、どのくらいだったんですか。
同一分割で再訓練したサーフェスベースラインは、部分的に乗っ取られたケースの 11.1%、遅延実行されたケースの 17.1% しか回収できませんでした。DriftNet はそれぞれ 98.6% と 93.2% を達成し、誤検出率も全体的に下回っています。
誤検出も減らせているんですか。現場で使う技術者から見ると、これは実装レベルの話ですか、まだ研究段階の話ですか。
26件の残存誤差のほとんどは、ラベル付きの侵入観測に読み取れる指示が含まれていなかった軌跡に起因します。技術者側が組み込む場合、このモデルはエージェントのモデルに依存しないため、ログ出力さえあれば統合しやすい構造ですが、実際の環境での動作確認はまだ報告されていません。そこはまだ分かっていません。
ログさえあれば組み込める可能性があるんですね。最後に、今後どのような展開が予想されますか。
攻撃手法が多様化する中で、侵入点の特定までできる検出器の需要は高まると見られます。一方で、読み取れない指示を含む攻撃への耐性や、異なるエージェント環境への汎化性能については、引き続き検証が必要です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文