CVSS-Xが公開。英語から28言語への翻訳用データ約16,000時間を提供。
この記事のポイント
- 21言語から英語への翻訳だった
- 英語から28言語へ方向を反転
- 16,000時間超で8倍の規模
数字で見る
この記事に出てくる数字
| 対象言語数 | 28言語 |
|---|---|
| 合計時間 | 16,000時間以上 |
どこで使えるか
多言語話者への音声合成や翻訳アプリケーションを構築する人向け。商用利用は不可。 Hugging Faceで公開済み
スポンサーリンク
解説
かみくだいて説明します
arXivに論文が公開されました。Lucas Rafael Stefanel Grisらのチームが、28言語に対応した音声翻訳用のデータセット、CVSS-Xを発表しました。言語ごとにおよそ240000組の音声ペアが含まれ、合計で16000時間を超えます。前のバージョンの8倍の規模です。
8倍も大きくなったんですね。前のデータセットはどの方向に翻訳していたんですか。
前のCVSSは21の言語から英語へ翻訳する方向でした。CVSS-Xはそれを逆にして、英語からターゲット言語へ翻訳する形になっています。12の言語系統にまたがる多様な言語をカバーします。
英語を話せばいろんな言語に変わるわけですね。中身は全部人工的に作られた音声なんですか。
はい、完全に合成音声だけで構成されています。声のパターンとして、標準的な声2つを使うCVSS-X-Cと、別の話者の声に声を合わせるCVSS-X-Tの2種類を用意しています。
声を合わせるというのは、どういう仕組みなんですか。そこがまだ掴めません。
歌手の歌声の特徴を別の曲でも同じ響きで歌わせるイメージです。話者の音色やリズムだけを抜き出して、ターゲット言語の音声に移植する技術です。
12の言語系統で同じような品質が保てるんですか。
評価の結果、前のCVSSと同等の翻訳品質があり、言語系統が違っても性能のばらつきは少ないと報告されています。
両方を組み合わせれば双方向で翻訳できるんですね。現場で使う技術者は、どこからダウンロードできるんですか。
GitHubでコードが公開され、データセットはHugging FaceからCC-BY-NC 4.0のライセンスで入手できます。CVSSと組み合わせることで、双方向かつ多言語の音声翻訳研究が推進できます。
最後に、研究用のデータとしてすぐ使える環境が整ったということですね。
商用利用は非商用のライセンスなので、実務への直接導入には制限があります。今後どのように拡張されるか、あるいは実用段階で何が課題になるかは、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。