音声合成から音楽生成までを1つのモデルで扱う StepAudio 3 Gen、設計思想と性能の話

論文

音声合成から音楽生成までを1つのモデルで扱う StepAudio 3 Gen、設計思想と性能の話

スポンサーリンク

StepAudio 3 Genが、音声合成から音楽生成までを1つのモデルで扱う性能を出した

この記事のポイント

  • 音声生成を1つの枠で扱う
  • 拡散モデルより離れ離れ生成
  • TTSと音声デザインで最上位

数字で見る

この記事に出てくる数字

周波数 12.5Hz
コードブック数 16×2048
残層数 15

どこで使えるか

音声合成や音楽生成を自前で組みたい人向け。拡散モデルより離れた生成が可能 GitHubページでサンプル公開済み モデル重みのダウンロード方法は記載なし

動画を見る

スポンサーリンク

解説

かみくだいて説明します

arXiv に 2026年9月14日に公開された StepAudio 3 Gen は、音声合成から音楽、効果音までを一つのモデルで生成する音声生成AIです。従来の拡散モデルとは違い、離散型自己回帰モデルで音声を直接処理します。
一つのモデルで全部をカバーするんですね。では、作る側の技術者から見ると、いまのやり方とどう違うんですか。
従来の拡散モデルが連続した波形を少しずつ描き足すのに対し、StepAudio 3 Gen は音声を 12.5 Hz の間隔で区切り、16 倍 2048 のコード空間に収めます。時間軸に沿って最初の層を予測し、残りの 15 層を軽量 Transformer で埋める仕組みです。
最初の層を先に決めて残りを埋める。そこがまだ掴めません。CD を切り分けるイメージですか。
正確には切り分けるだけでなく、意味の情報と波形の情報を一緒に圧縮しています。動画の字幕と音声を同時に扱うように、文字としての意味と音の形状を同じ層に重ねて保存するイメージです。
意味と音の形を一緒に保存するんですね。研究する人から見ると、テキストの能力を損なわない工夫はどこですか。
段階的に学習を進める段階的プレトレーニングで、テキストの能力を維持しながら音声の能力を付けています。複数のタスクを同時に訓練する指示学習と、教師ありファインチューニングを組み合わせ、音声合成と音声デザインで最先端の性能を出しています。
トップクラスの性能を出す。音楽や効果音も同じ仕組みで動いているんですか。
はい。ゼロショットテキスト読み上げからボーカル生成、効果音、音楽、バイブスピーチまで、すべて同じフレームワークで扱います。複数の音声タイプを混ぜ合わせた生成も可能です。
同じ土台で動くんですね。実際に試す側から見ると、道具のどこが変わりますか。
使っている道具が変わるというよりは、テキストだけで音声を設計できる点が大きいです。従来のモデルでは個別に処理していた部分を、一つの指示でまとめて生成できます。
テキストだけで設計できる。最後に、音楽や効果音の精度は音声合成と比べてどうですか。
音声合成と音声デザインでは最先端の性能を出していますが、音楽や効果音の生成については具体的な数値比較は報告されていません。そこはまだ分かっていません。
まだ数値が出ていないんですね。
複数の音声タイプを混ぜた生成に対応しています。詳細は公開ページをご覧ください。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文