TACTICSが、少ない評価データで翻訳システムの差を正しく見分ける。
この記事のポイント
- ランダム抽出は分布の偏りを抱える
- 階層分類で希少カテゴリを優先選出
- 同系統手法より希少カテゴリの網羅性向上
数字で見る
この記事に出てくる数字
| 方向数 | 4 |
|---|
どこで使えるか
少量評価で翻訳システムの差を正しく見分けたい人向け arXivで公開済み 4方向のMT評価で有用
スポンサーリンク
解説
かみくだいて説明します
Prasanth Bathala さんらの研究チームが、機械翻訳の品質を測るための新しいデータ選びの手法 TACTICS を arXiv に公開しました。これまで翻訳システムの評価にはコーパスから無作為に文章を抜いて使ってきましたが、この手法は抜く文章の選び方そのものを変えます。
無作為に抜くだけでは、本当に強いシステムかどうか見抜けなかったんですね。では、どうやって文章を選んでいるんですか。
対象となる言語の表記ルールや敬語の使い分けをまとめたスタイルガイドから階層の分類表を作り、文章をその分類に当てはめていきます。そして決まった数の文章の中から、分類表の隅々までカバーし、元の文章の並びや分布に近い組み合わせを計算で選り分けます。
分類表に当てはめてから、決まった数の中から選ぶんですね。
分類表の作り方はスタイルガイドを機械にかけて自動で引き出します。手作業は必要ありません。選ばれた文章は、これまで使われていた単語の並びや意味のベクトルで選ぶ方法よりも、珍しい分類の文章をより多く含むようになります。
自動で引き出せるなら、現場の負担は減りますね。ただ、分類表という言葉を聞くと、まるで辞書のように項目が並んでいるように思えます。
辞書のように項目が並んでいるわけではなく、木のように上から下へ枝が分かれていく形です。例えば敬語という大項目から、丁寧語や尊敬語、謙譲語という枝が伸び、さらに具体的な場面ごとの小項目が下に下がっていきます。文章はこの木のどの枝に落ちるかで選ばれます。
木のように枝が分かれて、文章がどの枝に落ちるかで選ぶんですね。研究している人から見ると、これまでは何ができていなかったんですか。
従来はランダムな抜き出しや単語の頻度だけで選んでいたため、評価対象が集められた過程の偏りをそのまま引き継いでいました。珍しい表現や文書全体の流れを測る項目が抜けていたため、システム間の本当の差を見極める保証がなかったのが実情です。
偏りをそのまま引き継いでいたんですね。実際にどのくらいの文章で、正しい順位が出せるようになったんですか。
評価に回す文章の数を減らしても、システム間の本当の差を正しく見抜けるようになります。4 つの翻訳方向で試した結果、ランダムに選んだ場合より少ない文章の量で順位が再現され、差がないところで差があるとは報じなくなりました。
少ない文章で正確に順位が分かるなら、評価のコストが大幅に下がりますね。最後に、この手法はすでに実際の翻訳システムの開発現場で使われているんですか。
論文では評価手法としての有効性を示していますが、開発現場への導入状況や、他の言語への適用範囲についてはそこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。