法律判断の基準を軸に設定するJusticeAxis、実務レベルの判断を再現する話

論文

法律判断の基準を軸に設定するJusticeAxis、実務レベルの判断を再現する話

スポンサーリンク

JusticeAgentが、オープンソースのバックボーンを商用レベルの判断力に引き上げた

この記事のポイント

  • 既存手法は法と事実のバランスが取れなかった
  • 256件で弁護士判決3つを準備し評価した
  • 規模で失敗方向が変わる。ただし商用レベルに達する

数字で見る

この記事に出てくる数字

裁判例数 256件
国数 18カ国
判決数 3件/件

どこで使えるか

法律判断を自前で実装したい人向け。スキル蒸馏で経験則を埋め込み、判断の根拠を担保する GitHubで公開済み 256件は18カ国の実在事件

スポンサーリンク

解説

かみくだいて説明します

Zhengkai Tu さんたちのチームが、法律の判断を評価する新しい基準とシステムを arXiv に公開しました。256 件の実在する刑事事件を 18 カ国から集め、音声や画像、文章の証拠を付けたデータセットです。
18 カ国にも及ぶんですか。これまでの基準と何が違うんですか?
従来は法律の条文に当てはまるかだけで点数を付けていましたが、今回は事件の状況も加味するかを見ます。事件ごとに弁護士の判断を 3 通り書いてもらい、正解の判断と、条文だけ追った間違い、状況だけ追った間違いの 3 種類を用意しました。
正解と 2 種類の間違いを比べるんですね。AI が判断する仕組みの名前は何か分かりますか。
JusticeAgent と呼ぶシステムです。事実を調べ役と、法律を適用する審判役に分けています。審判役が使う技能は、過去の判断の記録から抽出し、ベイズの確からしい範囲という統計的な枠組みで厳しく制限しています。
ベイズの確からしい範囲というのがまだ掴めません。もう少しやさしく言うとどうなりますか。
確からしい範囲というのは、出せる答えの幅をあらかじめ細く縛る仕組みです。例えば範囲を 100 点満点とすると、AI が 80 点から 90 点の間でしか判断を出せないようにします。外れた答えは最初から出さないことで、根拠のない判断を防いでいます。
縛りの中で判断するんですね。そのシステムは自分で動かすことができますか。
公開されている重みを持つモデルを基盤にして、この JusticeAgent をプラグインとして組み合わせる形で動きます。商用レベルの性能を出すのに、特別な学習は要りません。
特別な学習なしで商用並みになるんですか。モデルの大きさによって違ってくるんですか。
確かに大きさに影響されます。公開されているモデルを使うと根拠のない方向に振れやすく、最先端の商用モデルを使うと法律の条文だけを追う方向に振れました。
公開モデルと商用モデルで癖が違うんですか。
そうです。公開モデルは自由度が高すぎるため外れた判断が出やすく、商用モデルは条文に縛られすぎるため事件の状況が見えなくなる傾向があります。
最後に、この研究のどこがまだ解けていないんですか。
256 件の実事件から、18 カ国で録音された音声、画像、テキスト証拠を用いて、弁護士が書いた 3 通の判決書が準備されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文