インドの言語を直接つなぐ翻訳データ COILD、20言語ペアの品質向上

論文

インドの言語を直接つなぐ翻訳データ COILD、20言語ペアの品質向上

スポンサーリンク

COILDで追加学習した翻訳モデルは、言語ペアや分野を通じて一貫して翻訳の質が上がった。

この記事のポイント

  • インド語翻訳リソースが不足
  • 116万ペアの並列データを作成
  • IndicTrans2-Distilledで向上

数字で見る

この記事に出てくる数字

翻訳ペア数 116万ペア
言語ペア数 20
検証文数 2,000文

どこで使えるか

インド言語間の翻訳品質を上げたい人向け。学習データと評価基準がセットで手に入る arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

多言語翻訳って、英語や中国語は凄く進んでるのに、インドの言語は全然遅れてるんですよね?
確かにその通りです。英語を中継する従来の手法が主流なため、インドの多様な言語や文化を正確に捉えられていないのが現状です。
既存のリソースだと、どうしても英語依存になっちゃうんですか?
そうです。従来のデータセットは英語を中継点に作られているため、インドの言語が持つ文法的な複雑さや専門分野のニュアンスが失われがちです。
そこでarXivに公開されたのが、COILDというインド言語に特化した並列コーパスと評価ベンチマークです。
そのアプローチって、具体的にはどういう仕組みなんですか?
英語を介さない直接翻訳を可能にする基盤で、著作権付きリポジトリから収集した原文を基に、116万件以上の人間が翻訳・検証した文ペアを4つの語族にまたがって整理し、8つの実務ドメインにわたって構築しています。
4つの語族にまたがって8つの実務ドメインまでカバーしているんですか!
実際の翻訳精度はどのくらい改善したんですか?
IndicTrans2-DistilledとNLLB-200の2モデルで微調整した結果、20言語ペアと8ドメインにわたり自動評価指標だけでなく人間による評価でも一貫した向上を確認しました。高品質なインド言語特有のsupervisionが効果的であることを示しています。
自動評価と人間の評価の両方で向上したんですか?
はい。従来の英語ピボットデータとは明確に違い、実務レベルの翻訳品質が安定して向上した結果です。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、ライセンス付きリポジトリから収集し、専門家が検証した116万ペア以上の文で、20言語ペアをカバーしています。
実際の試し方ってどうすればいいんですか?
論文とコードはarXivで公開されていますので、まずNLLB-200のベースラインで比較実験を試してみてください。
そのデータは20の言語ペアをカバーしていますので、多言語AIの格差是正に役立つデータが増えるのは嬉しいですね!
多言語AIの格差是正に役立つデータが増えるのは嬉しいですね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文