法律情報を生成・抽出する NepLEGiT、ネパールの法律サービス向上のためのモデル

論文

法律情報を生成・抽出する NepLEGiT、ネパールの法律サービス向上のためのモデル

スポンサーリンク

NepLEGiTが公開。パラメータ3000万、学習データ約400万トークン、正答率82.9%。

この記事のポイント

  • 法律情報の入手が困難な現状がある
  • 約3000万パラメータのモデルを学習させた
  • 検証データで次トークン予測精度82.9%

数字で見る

この記事に出てくる数字

学習トークン数 ~4百万
パラメータ数 ~30M

どこで使えるか

ネパールの法律文書を扱うシステムを構築する人向け。小規模で学習コストが低い 論文の付録またはコード公開の記載なし 独自データセットのため、モデルの再利用には注意

スポンサーリンク

解説

かみくだいて説明します

ランジット・ラウトさんたちのチームが、ネパールの法律情報を扱う小さな言語モデル NepLEGiT を公開しました。憲法や民法、刑事法、行政規則をまとめたおよそ 400 万トークンのデータで、ゼロから学習させています。
なるほど。作る人から見ると、このモデルの規模はどのくらいで、手元の環境で動かすのは難しいですか。
重みのパラメータはおよそ 3000 万個で、層は 6 段、頭数は 6 つ、ベクトルの大きさは 384 です。スマホや普通のパソコンでも十分動く規模です。学習にはウォームアップ付きのコサイン減衰スケジュールと勾配累積、混合精度演算を使っています。
混合精度演算というのは、どういう意味ですか。
計算の桁数を必要な部分だけ正確に保ち、それ以外は少し粗めに処理して速度を上げるやり方です。写真の解像度を、顔の部分だけ高画質にして保存するイメージに近いものです。
3000 万個のパラメータで、その手法を使って学習させたんですね。精度はどうでしたか。
学習に使わなかったデータで評価したところ、クロスエントロピー損失が 0.5684、パープレキシティが 1.8、次のトークンを当てる精度が 82.9% でした。パープレキシティが 1.8 というのは、辞書で次の言葉を選ぶときに、候補がおよそ 2 個しかないのと同じくらい確信が高い状態です。
82.9% の精度で次の文章が続くんですね。比較対象はありますか。
あります。同じデータで mBERT と MuRIL という既存のモデルを学習させた結果、mBERT のパープレキシティは 2.35、MuRIL は 6.07 でした。NepLEGiT が 1.8 なので、生成方向の NepLEGiT と、意味を理解する方向の mBERT が補い合う形になります。
では、研究する人からすると、このデータセットの質はどう見えていますか。
憲法から刑事法、行政規則までをカバーしていますが、そこはまだ分かっていません。方言や地域ごとの法律用語の扱いについて、詳しい内訳は公開されていません。
なるほど。使う側から見ると、実際に法律相談のツールに組み込むには、まだ何が足りないんですか。
実際、法律の判断を完全に代わるものではありません。正確性は保てますが、実際の裁判や契約で使うには、専門家のチェックが必ず必要です。今後の展開として、より長い条文への対応や、実務向けのチューニングが期待されますが、そこはまだ分かっていません。
最後に、このモデルの公開形式はどうなっていますか。
そこはまだ分かっていません。コードや学習済みの重みについて、どこで公開されるかは現時点で明言されていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文