音声トークンを直接翻訳する TokenMapper、モデル間の相互運用性を高める話

論文

音声トークンを直接翻訳する TokenMapper、モデル間の相互運用性を高める話

スポンサーリンク

TokenMapperが音声トークンの直接翻訳を実現。レイテンシ最大 94.5% 短縮

この記事のポイント

  • 音声トークンはモデル間で直接変換できない
  • TokenMapperでトークン直接変換を実現
  • 波形を介さず低遅延で変換可能

数字で見る

この記事に出てくる数字

WER差 2.5-6.8%
MOS 2.29-4.39
レイテンシ短縮 4.8-94.5%

どこで使えるか

音声モデルを跨いで低遅延で翻訳したい人向け。波形を介さず直接変換可能 arXivで公開済み 推論速度は972ms/発話まで

スポンサーリンク

解説

かみくだいて説明します

Tal Kozakovさん、Tal Rosenweinさん、Eliya Nachmaniさんの研究チームが、音声のトークン同士を直接やり取りする TokenMapper という仕組みを発表しました。音声モデルが使うトークンの辞書や構造が違っても、波形に戻さずに翻訳できるようにしたものです。
なるほど。それぞれのモデルで記号の並び方が違うから、これまで波形に戻して作り直していた。方向性を意識して対応させるんですね。
そうです。正確には、異なる構造のトークン空間を、方向性を意識しながら対応させるフレームワークです。コードブックというのは、音声を登録した辞書のようなもので、モデルによって辞書の引き方が違う。それを同じトークンレートで対応させます。実験では GLM-4-Voice、MiMi、DualCodec の三つのモデルで検証しました。
三つのモデルで試したんですね。精度はどのくらい落ちるんですか。
誤り率の指標である WER で見ると、元のモデルが生成した音声と比べて、およそ 2.5 から 6.8 パーセントの差に収まっています。人間の評価では MOS が 2.29 から 4.39 を記録し、既存の自動評価指標 UTMOS の傾向と同じ動きを示しました。
2.5 から 6.8 パーセントの差ですね。波形を一度音に戻す工程を飛ばすことで、処理が早くなる。
従来の波形を介す方法と比べて、遅延時間を 4.8 から 94.5 パーセント削減できました。一文あたりの処理時間は最大で 972 ミリ秒です。辞書の引き方が違うモデル同士を、直接トークンでつなぐだけで済むため、工程が大幅に簡素化します。
972 ミリ秒まで短縮したと。使う側の人たちは、この仕組みをどう取り入れるんですか。
現在のところ、複数の音声モデルを組み合わせた会話エージェントや、音声から音声への翻訳システムで活用する想定です。コードブックの構造が異なるモデル間を、直接トークンでつなぐことで、パイプラインを簡素化できます。
会話エージェントや翻訳システムで使う話ですね。技術者として開発環境に組み込むのは、どのくらいの手間ですか。
実験で使った三つのモデル以外については、そこはまだ分かっていません。方向性を意識した翻訳フレームワークという設計自体は汎用的ですが、具体的な追加モデルへの対応時期や条件は、現時点で公開されていません。
公開されていないんですね。最後に、実用化のタイムラインは示されていますか。
タイムラインの公表はありません。当面は異なる構造のトークン空間を、波形を介さずに直接つなぐ技術の検証を続ける方針です。情報ロスや遅延をさらに抑える方向で、引き続き結果が公開されるのを待ちます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文