脆弱性修正コードをリストから選ぶ Agentic な PatchHolmes、取得精度を上げる話

論文

脆弱性修正コードをリストから選ぶ Agentic な PatchHolmes、取得精度を上げる話

スポンサーリンク

PatchHolmesが、脆弱性修正コードの取得精度を Favia 比 25.34%、IRCoT 比 31.40% 向上させた。

この記事のポイント

  • 主要DBのCVEにパッチリンクがない
  • 2段階のリスト選択型取得システム
  • ただしFavia比25.34%、IRCoT比31.40%

数字で見る

この記事に出てくる数字

パッチ未リンクCVE 60%~63%

どこで使えるか

脆弱性修正コードを自前で取得したい人向け。学習不要でモデルを選ばない GitHubで公開済み

スポンサーリンク

解説

かみくだいて説明します

PatchHolmes というシステムを、2026-10-01 に arXiv に論文を投稿した研究チームが公開しました。既知の脆弱性を直すコミットを探す技術で、主要なデータベースに登録されているCVE のうちおよそ60%から63%がパッチのリンクを持っていない問題を、2段階の仕組みで解決します。
6割以上がリンクなしというのは、現場ではかなり深刻な数字ですね。では、2段階目の仕組みでシステムがどう動くんですか?
1つ目の段階で候補を100個絞り込んだあと、2つ目の段階でAIエージェントがその100個をリストワイズに一度に目を通します。全部を細かく読むのではなく、4つの決まった道具を使って3から10個だけを選び出して読み、その中から一番正しいコミットを1つだけ選び出します。辞書で1つの単語を調べるのではなく、参考資料の束の中から必要なページだけめくるイメージです。
参考資料の中から必要なページだけめくるとは、確かに効率がいいですね。では、その分、正確さはどのくらい上がるんですか?
GitHubAD という評価データで測ったところ、従来の点ごとに独立してスコアを付ける手法Favia よりRecall@1 が25.34%上がり、IRCoT という手法より31.40%上がりました。Favia は1つの脆弱性に対して10回のやり取りが必要でしたが、PatchHolmes は1回だけで済みます。
10回が1回で済むなら、コストも大幅に減りますね。では、別のデータセットでも同じように動くんですか?
PatchFinder_top10 という別のデータセットに、調整なしでそのまま移したところ、Recall@1 が24.28%から39.86%に上がりました。Qwen というモデルのファミリーの中でバックボーンを替えても1%未満の変化で、gpt-oss という別のファミリーでもエージェントなしの基準値を大きく上回りました。
別のモデルでも安定して性能が出るのは、仕組みそのものがしっかりしているからですね。では、動かすのに外部の検索API は必要ないんですか?
必要ありません。学習済みのオープンウェイトモデルをそのまま使い、ローカルのGit リポジトリの上で動きます。微調整も外部の検索API も使わずにシステムを構成しています。
ローカルで完結するシステムは、外部APIに依存しないので、環境構築も簡単ですね。
60%から63%のパッチリンクがないCVE に対して、エージェントがリストを一度に見て効率的に候補を絞り込む仕組みが実用レベルに達したということです。ただ、実際の開発現場のワークフローに組み込んだ場合の処理時間や、他の脆弱性データベースへの対応見通しについては、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文