Krakenが公開。Qwen3-8B 基盤の音声翻訳モデルで、品質と話者転写が向上。
この記事のポイント
- S2STモデルは高音質トークンの予測が困難
- 低ビットレートVQとAutowave-Xで対応
- 150k時間データで SeamlessM4T-Large v2を上回る
数字で見る
この記事に出てくる数字
| モデルサイズ | 8B |
|---|---|
| 学習データ | 150k時間 |
どこで使えるか
高音質の音声を扱いつつ話者の特徴も残したい人向け。学習データの手間を減らせる arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
研究者ら八人が、音声から音声へ直接翻訳するモデル Kraken を arXiv に公開しました。このモデルは Qwen3-8B を基に、150k 時間分の多言語音声データで学習し、既存の SeamlessM4T-Large v2 や Qwen2.5-Omni より翻訳精度と話し手の声質、抑揚の引き継ぎを向上させたと報告しています。
音声から音声への翻訳ですね。Qwen3-8B を基に 150k 時間分のデータで学習し、既存モデルを上回ったと。
はい。従来のモデルは音声の細かな情報をそのままトークンにしてしまうと計算量が増えすぎてしまいます。そこで片層ベクトル量子化という手法で情報を圧縮し、低ビットレートのトークンに変換してから翻訳を行っています。聞き取りやすさや話者の特徴は、Autowave-X という別の波形生成モジュールが元の話声を参照しながら補完する仕組みです。
片層ベクトル量子化、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
例えば、写真から必要な部分だけを残して、余計な背景を切り捨てるようなイメージです。音声の細かい波形を一度小さな箱に収め直してから処理するため、計算量を大幅に減らせます。Autowave-X が元話声を直接参照するおかげで、訓練データのペアが完全に揃っていなくても学習できるように設計されています。
中身だけを残して計算量を減らす方向ですね。Autowave-X が元話声を直接参照するおかげで、訓練データのペアが完全に揃っていなくても良くなったと。
報告では SeamlessM4T-Large v2 と Qwen2.5-Omni を下回らず、翻訳品質と声質転写の両方で上回ったとしています。数値による具体的な差額は提示されておらず、相対的な評価結果のみが示されています。
では、このモデルを自分のシステムに組み込む場合、推論時の速度やメモリ使用量はどのくらいになるんですか。
そこはまだ分かっていません。報告では学習データ量と翻訳精度、声質転写の向上に焦点が当てられており、実機での推論速度やメモリ消費量についての数値データは提示されていません。
推論速度やメモリ使用量が出ていないのは確かに気になりますね。翻訳精度と声質転写の向上に焦点が当てられていると。
非言語情報には笑い声やため息、話の区切りでの間など、言葉以外の要素が含まれます。従来のモデルではこれらの情報が欠落しやすい傾向がありましたが、Autowave-X が元話声を別経路で条件として受け取るため、抑揚や話者の癖を従来より忠実に再現できるとしています。
最後に、この Kraken はオープンソースとして公開されるんですか。
公開の有無については報告書に明記されていません。研究チームが今後別途アナウンスを行う見込みですが、現時点でコードや学習済みモデルの配布予定について具体的な情報は出ていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。