Legal Research Bench で 13 模型を全パス評価。正解率は 4 割強。
この記事のポイント
- 法律検索の信頼性は不明だった
- 413問で13モデルを全パス評価
- 最高42.9%。ただし法分野差あり
どこで使えるか
法律検索の信頼性を自前で測りたい人向け。全パス評価でモデルの限界が見える
スポンサーリンク
解説
かみくだいて説明します
Katrina Drozdovらの研究チームが、2026年 10月 1日に法律の調べ物を AI に任せる際の信頼性を測る評価基準、Legal Research Bench を公開しました。413 の専門家が書いた米国法の問いと、正解の答え、引用元をセットにしたものです。
413 もの問いで評価したんですか?では、実際に AI に調べ物をさせて試した結果、どれくらいの正解率だったんですか?
13 の最先端モデルを、ウェブ検索や判例検索のツールと組み合わせて試した結果、最も出来が良かった Claude Opus 4.8 でも正解率は 42.9% でした。
最も出来が良いモデルでも 4 割強なんですね。全部正解を求めるオールパス評価にする理由は何ですか?
法律の調べ物は、答えだけでなく引用した条文や裁判例が本当に存在して正しいかまで確認しているからです。例えば、レシピの材料が一つでも違えば料理が台無しになるのと同じで、情報源が一つでも間違えば全体の回答が使えなくなります。
材料が一つでも違うと台無しなんですね。では、調べ物の種類によって差は出るんですか?
出ます。特に法律同士や裁判例の間に矛盾がある場合の問いでは、正解率が大きく下がります。また、会話の回数や使うツールの回数、計算量を増やしても、必ずしも正解率は上がらないのが実態です。
回数を増やせば良くなるわけではないんですね。研究している人から見ると、どこがまだ解けていないんですか?
矛盾する条文をどう整理して、最終的な答えに落とし込む部分です。AI が情報を拾ってくる段階はできますが、複数の情報を出し合わせて結論をまとめる作業がまだ苦手なようです。
情報を集めるのはできるけど、まとめるのはまだ難しいんですか。では、この評価基準は実際に法律の仕事をされている方に聞いて確認したんですか?
そうです。弁護士に実際の判定を依頼して、AI だけの判定と結果が一致するか確かめました。専門家の判断と AI の判定はほぼ同じ傾向になると確認できています。
専門家の目と AI の目が同じ方向を向いているんですね。では、この評価で試されたモデルは、実際に法律事務所で使える見込みはありますか?
現状ではまだ難しいです。正解率が 4 割強ですから、使い物にならない回答が半数以上出ます。信頼性を上げるには、引用元の検証や矛盾する情報の整理をどう改善するかが課題です。
半数以上が使えないと考えると、まだ先ですね。最後に、この評価基準は今後どう使われていくんですか?
413件の法律調査の問題で13個のモデルを試したら、一番良いモデルでも完全に正解したのは42.9パーセントだけで、分野によっても差があったみたい。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。