Viveka-Insight、英語とベンガル語の古典を横断検索する概念グラフ

論文

Viveka-Insight、英語とベンガル語の古典を横断検索する概念グラフ

スポンサーリンク

Viveka-Insightが公開。英語とベンガル語の古典を横断検索できる概念グラフとパイプラインを手に入れる。

この記事のポイント

  • 古書は多言語で非並列
  • 概念グラフで検索可能
  • ベンガル語精度は低い

数字で見る

この記事に出てくる数字

概念数 8,362
Recall@10 0.86
信頼度閾値 0.8

どこで使えるか

多言語古典の横断検索基盤を自前で構築したい人向け。非並列コーパスでも概念グラフで紐づけ可能 arXivで公開済み Bengaliの精度は0.54と低い

スポンサーリンク

解説

かみくだいて説明します

Tamal Maharaj 氏が arXiv に発表した Viveka-Insight は、ヴィヴェーカーナンダの英語九巻とベンガル語十巻の作品計 1500万文字を、32694段落、168842文に構造化したリソースです。
言語が違う同じ作者の文章を、並べ替えずに結びつける仕組みなんですね。技術的にどう実現しているんですか。
英語の概念ラベルを文字列の一致キーにして、ベンガル語の文章と直接対応付ける方式です。並列データなしで 8362 の概念と 87518 の項目概念の結びつき、55872 の概念間の結びつきをグラフ化し、60850 の表層形を別枠で公開しています。
並列データがない状態で結びつけるのは、辞書なしで意味の近い単語を探すのに近い感じですか。
正確には辞書引きとは違い、概念を共通の接点にして双方向の検索を可能にする構造です。英語からベンガル語へ、ベンガル語から英語への検索で、194 組の講義ペアに対して Recall@10 が 0.86 を両方向で記録しています。
検索精度は高いですが、概念の抽出精度はどうなっていますか。
二人の注釈者が一致したケースで 0.60、Cohen's kappa は 0.61 です。信頼度 0.8 以上を条件に絞ると 0.71 まで上がり、98% の概念を含む段落を保持します。ただしベンガル語の抽出精度は 0.54 で、英語の 0.68 を下回っています。
ベンガル語の精度が低い理由はどういうところにありますでしょうか。
正確にはそこはまだ分かっていません。ただしベンガル語と英語を横断するアクセスに直接関わる部分で弱さが確認されています。
研究している人から見ると、このグラフ構造のどこが特に役立ちますか。
古典文献の言語横断解析を、並列テキストの準備なしに始められる点です。30 項目の監査でも引用の整合性と現代の質問への橋渡しを評価しており、公開パイプラインは他の多言語古典資料にも設計を移設できます。
実務で使う技術者にとって、手元で動かすのに必要な条件は何ですか。
公開されているパイプラインと注釈データがあれば、抽出と検索の両方をローカルで実行できます。ベンガル語の精度は英語より低く、これがクロスリンガルアクセスの弱点となっています。
最後に、実用化のスケジュールはどうなっていますか。
正確にはスケジュールの公表はありません。リソースとパイプラインはすでに公開済みで、他の多言語古典資料への適用が次の段階の指標になります。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文