HazardAuditorがガード精度を最大 16.5 ポイント向上
この記事のポイント
- 従来手法は静的な入出力しか対象としていなかった
- 実行環境でエージェントを動かし、安全判定を最適化した
- ベンチマークと異種システムで精度が向上した
数字で見る
この記事に出てくる数字
| 精度改善 | 最大16.5pp |
|---|---|
| GitHub星 | 3 |
どこで使えるか
実行時の危険をリアルタイムで検知したい人向け。ガードモデルの学習を改善する手法が要る GitHubで公開済み ベンチマーク結果は最大値。16.5ppは最上位手法との差
動画を見る
スポンサーリンク
解説
かみくだいて説明します
人工知能がブラウザやファイルシステムを操作する際、実行中に危険な動作をするリスクを未然に防ぐ仕組みを、arXivに2026年9月15日に出された研究チームが公開しました。名前はHazardAuditorです。
実行中に危険な動作を防ぐんですね。既存の仕組みでは対応できなかったんですか。
従来は入力された文章や出力された文章だけを安全か危険か判定していました。しかしAIが実際にコマンドを実行する過程で、想定外の危険が起きることが分かっていました。HazardAuditorはClaude CodeやCodex、Hermes、OpenClawといった異なるAIツールを安全な環境で動かしながら、そのやり取りを統一された形に書き直します。
いろんなAIの動きを同じルールで記録するんですね。
そうです。学習の段階で問題になる点も見つけています。生成型ガードモデルは、長い理由説明の部分が勾配更新を支配してしまい、安全かどうかの判定自体が軽視される構造的なズレが生じていました。
長い説明に引っ張られて、肝心の安全判定が見えなくなるんですか。
正確にはその通りです。そこでGuard Policy Optimization、通称GuardPOという手法を導入しました。安全か危険かという結果を文章全体の優劣として評価し直します。理由説明の部分と判定の部分を同じ重みで扱うように正規化し、安全判定そのものを最適化の単位にしています。
試験で長い解答過程よりも、最終的な正解不正解の判定を一番重要な採点基準にするのと同じですね。
そうです。構造的なミスマッチを解消し、判定を一番重みとして最適化します。
判定を一番大事に扱うように書き換えるんですね。
複数のベンチマークと異種のコンピュータ操作システムで試した結果、最も精度が高かった従来のガードモデルを最大 16.5ポイント上回る精度を出しました。コードとモデル、評価用のデータ一式はGitHubで公開されています。
16.5ポイントも精度が上がったんですか。現場の技術者が組み込むのは難しいですか。
公開されるのはコード、モデル、評価アーティファクトです。現場のAI開発者が組み込む場合の手間は、まだ明らかになっていません。
組み込みの手間はそこはまだ分かっていないんですね。
複数のベンチマークや異種コンピュータ使用システムにおいて、HazardAuditorは最強の従来ガードモデルと比較して最大16.5ポイントの精度向上を実現しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。