法廷のAIに証拠を強制するRAG LabourCrew、誤答を減らす話

論文

法廷のAIに証拠を強制するRAG LabourCrew、誤答を減らす話

スポンサーリンク

LabourCrewが、証拠なしの回答を防ぎ、失敗も段階的に悪化する RAG を実現した。

この記事のポイント

  • 証拠を引けない回答が問題だった
  • StatuteGraphと証拠台帳で引用を制限した
  • 偽受容率0.081。ただし500件でベンチ

数字で見る

この記事に出てくる数字

評価データ数 500-item
偽受容率 0.081

どこで使えるか

証拠を引けない回答を防ぎたい法律QAシステム構築者向け。引用制限と段階的劣化で信頼性を確保 arXivで論文公開済み Bangla語のデータセット。英語評価は未掲載

スポンサーリンク

解説

かみくだいて説明します

労働法のような厳格な分野の質問応答では、回答根拠が法条に正確に紐づいている必要がありますよね?
確かにその通りです。誤った回答がなされると法的な責任問題に直結しますから、証拠の追跡可能性は必須条件となります。
既存のRAGシステムだと、証拠が不十分でも適当に回答を返してしまいませんか?
その通りです。単発の検索では不足証拠を検知できず、マルチエージェント方式でも取得していない条文を引用するリスクがあります。
そこでarXivで公開されたLabourCrewというマルチエージェントRAGフレームワークが注目されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
大きく3つの仕組みで構成されています。法典構造を地図のようにグラフ化索引するStatuteGraphと、弁護士と通訳が取得した証拠リスト以外を一切参照できない証拠帳簿を設けるEvidence Exchange Protocol、そして回答の信頼度を数値化して閾値で判断するCalibrated Trust Gateです。
証拠帳簿で引用を縛る発想は確かに理にかなっています!
実際の検証結果で、数値上の改善効果はどのくらいあったんですか?
500件のベンチマークで偽受容率を0.081に抑え、目標値の0.10をクリアしました。HyDE RAGの0.839、Graph-RAGの0.815、Hierarchical RAGの0.828を上回る0.862を達成し、難易度上昇でも段階的に劣化します。
でも、特定の法分野に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにその通りです。計算コストと並列監督ボードの設計負荷は増えますし、ベンチマークがベンガル語の労働法に限定されている点も今後の課題です。
実際の開発現場で試す場合は、どう導入すればいいんですか?
まず検証ですが、証拠交換プロトコルで引用を制限し、信頼ゲートで許容率を制御する仕組みが重要です。
実証ではベンガル語の労働法500件で0.081の誤許容率を達成し、回答関連性も最高を記録したため、低資源領域での監査可能性が実証された可能性が高いです。
技術的貢献として監査可能性の向上が示されたことになりますね。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文