CARGOが実運用の AI エージェント評価で、参照事例のズレによる誤判定を解消した
この記事のポイント
- 参照回答が別エンティティのため誤判定
- 参照文脈で判定し信頼度で評価を制限
- DI0.58。ただし手続き誤検知は20%
数字で見る
この記事に出てくる数字
| 正解移植回答 | 100% |
|---|---|
| DI向上 | 0.58 |
| 手続き検出 | 20% |
どこで使えるか
実運用のエージェント評価で参照回答のズレに悩む人向け。手続き違反の検知は苦手 論文公開済み CARGO-Benchのコード公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
実務で動くAIエージェントの回答を評価する際、正解例と照合する手法って、結局はテスト環境の話でしかなくないですよね?
確かにその通りです。実サービスではサポート番号や日付が毎回変わるため、正解例をそのままジャッジ基準にすると、本来正しい回答まで誤りと判定されてしまいます。
既存の手法って、なぜそこまで厳格に照合してしまうんですか?
従来の参照回答評価は文字列の完全一致を前提としているため、実体が変わっても手順が正しければOKという柔軟な判断が効かないのです。これを参照インスタンス分断と呼んでいます。
arXivに公開されたCARGOというフレームワークが、この課題を解決するアプローチを提示しています。
CARGOって、具体的にはどういう仕組みなんですか?
参照回答を絶対的な正解ではなく手順の手本として扱い、実際の事象データに基づいて判断する仕組みです。各主張に対して支持・反論・検証不能の三択を割り当て、反論がある場合のみ減点します。さらに検索の信頼度で評価を制御する設計です。
手本として扱う発想が面白い! 実際のデータで判断するんですね。
検索結果の確信度が低い場合は評価を保留する仕組みも備えています。
改善効果は具体的にどのくらいあるんですか?
246項目・7,872件の判定データで検証した結果、従来手法は正しい実体置換回答を100%誤りと判定し判別力がほぼゼロでしたが、CARGOは誤判定を0件に抑えつつ反論検出をほぼ完璧に維持し、判別指数を0.58まで引き上げました。
従来手法と比べた性能差は歴然なんですね。
でも、実体の値だけを保護する仕組みって、結局根本的な解決にはなっていないんじゃないですか?
ご指摘の通りです。実体値への寛容さが手続きの改ざん検出を20%の検出率に留め、事後修正でも差は埋まりませんでした。
実際の現場で試すにはどうすればいいんですか?
本番トラフィックでの評価プロトコルを公開していますので、信頼度閾値の設定から始めてみてはいかがでしょうか。
CARGO-Benchで246項目の評価を行い、標準評価が100%誤判定するのを防ぎました。
CARGO-Benchのベンチマーク結果を示しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。