LegalPinciteが公開。判例の段落レベル参照先を評価するデータセット。
この記事のポイント
- 段落レベルの注釈が不足
- CJEU判決から大規模データセットを作成
- ケース間・段落間・段落からケース間を評価
どこで使えるか
判例の段落レベル参照先を自前で評価したい人向け。 Hugging Faceで公開済み コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Theresia Veronika Rampisela さんたちの研究チームが、ヨーロッパ連合の裁判所判決を基にした法律情報検索用のデータセット、LegalPincite を公開しました。裁判所の判決文から関連する判例を探す際、どの段落に根拠があるかまで指定するピンポイント検索に対応したものです。
ピンポイント検索というのは、判決文のどこが根拠かまで指し示すことなんですか?
はい、正確にはピンポイント検索といいます。裁判所の判決文は長いので、関連する部分だけをピンポイントで特定する必要があるんです。従来のデータセットでは、段落単位の指定が見えなくなっていました。
なるほど、段落レベルの指定が今までなかったんですね。では、研究している人から見ると、どこが新しいんですか。
従来公開されていたデータセットには、検索クエリに答えの情報が入っているデータ漏れがあり、また検索対象から関連しない段落を除外していたため、実際より性能が高く出やすかったんです。これに対して今回のデータセットは、クエリから引用情報を完全に消去し、判決文の全段落を検索対象に入れた上で、ケース対ケースや段落対段落といった複数のレベルで評価できるようにしています。
性能が実際より高く出ていたんですね。では、作る人から見ると、手元で動かせますか。
はい、コードとデータセットは Hugging Face で公開されています。判決文はヨーロッパ連合の裁判所のもので、人間が専門家として部分的に正解を検証しています。検索のレベルは、判決文全体同士、段落から判決文全体、段落同士という 3 種類に対応しています。
3 種類の検索レベルがあるんですね。では、研究する人から見ると、何と比べて何件で測った結果ですか。
具体的な評価件数や従来手法との数値比較については、そこはまだ分かっていません。ただし、データセットの構成自体が従来の問題点を解消する形で設計されているため、法律情報検索の手法開発と厳密な評価の両方に対応できる基盤になると考えています。
基盤になるんですね。では、作る人から見ると、検証はどの程度行われているんですか。
正解の検証は人間が専門家として部分的に行っています。完全な自動検証ではなく、専門家の目を通した上でデータセットを構成しています。
専門家の目で部分的に確認しているんですね。最後に、今後の見通しはどうなりますか。
手法の発展と厳密な評価を可能にするデータセットです。ケースからケース、段落からケース、段落から段落までの複数のレベルで検索が可能です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。