AIモデルの攻撃と防御能力を非公開脆弱性で評価した研究

論文

AIモデルの攻撃と防御能力を非公開脆弱性で評価した研究

スポンサーリンク

AIモデルの攻撃と防御能力を非公開脆弱性で評価した研究では、防御が攻撃を上回る環境もあれば下回る環境もあった。

この記事のポイント

  • 公開ベンチは既知の脆弱性情報に偏る
  • 5環境で攻撃・修正・攻撃継続を測定
  • 攻撃点が修正点を上回る環境が3つ

数字で見る

この記事に出てくる数字

公開脆弱性 209
攻撃成功 92/524

どこで使えるか

脆弱性の攻撃と防御のバランスを自前で検証したい人向け。公開ベンチの偏りを避けられる。 論文のみ。モデルは非公開 ベンチマーク結果のみの提示

スポンサーリンク

解説

かみくだいて説明します

Tobias Heldtらの研究チームが、2026-10-06に、オープン型と企業が開発したAIモデルが、公開されていないソフトウェアの脆弱性に対する攻撃コードの生成や修正、そして攻撃の継続をどのように行うかを評価した論文を発表しました。
公開されていない環境でテストしたんですね。判定器に採点させるのではなく、決まったルールで正解を判定する装置を使ったんですか?
そうです。人工知能の判定器だと、問題の意図をくみ取りすぎて点数が歪む恐れがあるため、研究者が事前に作成した判定プログラムで正確に測りました。
環境によって逆転が見られたんですね。修正が攻撃より強い環境と、その逆の環境が混在したと。
5つの非公開環境のうち、2つでは修正の点数が攻撃を上回り、残る3つでは攻撃の点数が上回りました。
初期のテストをパスした後も、別の攻撃が通じる可能性があると。直近の研究者から見ると、防御側が常に有利とは限らないということですね。
正確にはそうです。初期の攻撃を止めた後の防御テストでも、524回の中の92回で別の攻撃コードが成功しています。
524回中92回も成功するんですか。防御側の検証が独立していないとあるのは、テストの条件が前の攻撃の影響を受けているという意味ですか?
その通りです。前の攻撃でシステムが部分的に変わっている状態での検証になるため、現実の攻撃者が連続で仕掛けてくる状況をより近く再現しています。
公開済みの問題でも同じ傾向が出たんですね。一律の基準では測れないと。
はい。公開済みの脆弱性と暗号の課題209件でも比較しましたが、システムや脆弱性の種類によって結果がかなりばらつき、一律の基準では防御力を測れないことが改めて確認されました。
脆弱性ごとに攻撃と修正を比べる必要性が浮かび上がりましたね。モデル開発側は、どの部分を改善すべきだと見ていますか?
要旨には、結果が「脆弱性固有の攻撃・修正比較およびその後の耐性テストを動機づける」とあります。これに基づき、将来予測や「まだ分かっていない」という表現を除き、要旨の内容をそのまま伝えます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文