WMT26の太平洋クレオール翻訳モデルが、人間の参照でオープンモデルを3ポイント以上上回った
この記事のポイント
- 領域偏りのあるデータで事前学習
- 多様な領域のデータで追加学習
- Bouquetと新規テストセットで評価
数字で見る
この記事に出てくる数字
| chrF++ 向上 | 3+ |
|---|---|
| 対象言語数 | 3 |
どこで使えるか
低資源クレオールの翻訳品質を上げたい人向け。LLM活用でデータ不足を補完 arXivで公開済み モデル重みは記載なし。評価はchrF++のみ
スポンサーリンク
解説
かみくだいて説明します
メルボルン大学のラファエル・マークスさん、ニック・シーバーガーさん、エカテリーナ・ヴィロモワさんらのチームが、太平洋のクレオール語と呼ばれる三つの言語、トク・ピシン、ビスラマ、ソロモン・ピジン向けの機械翻訳モデルを発表しました。
言語のデータが足りない分野ですね。データが偏っていると精度が出ないんですか。
そうです。まず大量の偏ったデータで基礎を固め、そのあと多様な分野のデータを混ぜたもので精度を上げる手法です。大規模言語モデルを使った文字の整列や逆翻訳、GoogleのGeminiから知識を移す技術も使っています。
逆翻訳というのは、別の言語を挟んで校正する作業ですか。
そうです。訳した結果をもう一度読み直して自然な文章に直す作業です。知識を移す方は、大きいモデルが持っている答えを小さいモデルが覚え込む仕組みです。評価では公開されている他のモデルを、3以上、chrF++という指標で上回りました。
3以上も差がつくなら、かなり実用的な水準ですね。実際に使う側からするとどう感じますか。
辞書引きの正確さに近い指標で、人間の書いた正解とどれくらい近いかを表します。3上回れば、辞書を引くたびに迷う部分が減ったのと同じくらい実用レベルに達したと言えます。今後、このモデルをさらに小さくして幅広い分野で使えるようにする予定です。
迷う部分が減るなら、現場での作業効率も確実に上がりますね。
広い分野の知識をできるだけ残しながら、必要な部分だけを残す工夫をしています。ただ、ソロモン・ピジンとビスラマのテスト用データはまだ人間が訳したものがないため、そこはこれから作る段階です。
開発者はどこからデータを入手できるんですか。
要旨には公開モデルの提供予定や計算資源について一切言及がない。"公開モデルとして提供される見込み"と"具体的な公開時期や計算資源が分かっていない"の両方とも要旨の範囲外。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。