動画と音声を個別に生成するSepGen、マルチモーダルな生成と分離を統合する話

論文

動画と音声を個別に生成するSepGen、マルチモーダルな生成と分離を統合する話

スポンサーリンク

SepGenが、1回のサンプリングで動画と各音源の波形を同時に出力する。

この記事のポイント

  • 共同生成は音声を1つに混ぜていた
  • SepGenで動画と各音源波形を1モデルで出力
  • テキスト付きキャプションでは言語条件分離を上回る

数字で見る

この記事に出てくる数字

出力波形数 1つずつ

どこで使えるか

動画と音声を個別に生成・分離したい人向け。テキスト条件で音源を指定できる 公式サイトで公開済み 日本語の評価は未掲載

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Aviad Dahanらの研究チームが、2026年10月8日にarXivへ論文を発表しました。動画と音声を同時に生成するモデルに、音源を個別に取り出す機能を追加したSepGenです。一つのモデルで、映像、混ぜ合わせた音、そして各音源ごとの波形を一度に出力できます。
映像と音が別々の波形で出せるんですね。生成と分離の二つのモードがあるそうですが、使い分けはどうなるんですか?
生成モードは、テキストの説明から映像と音を作るときです。二つの人物が話すセリフなら、話者の順番をそのままに二つの音源に分けて出力します。分離モードは、すでに録音された音声をモデルに入力して、テキストで指定した音だけを取り出す使い方です。
すでに録れた音から、指定した音だけを取り出すんですね。研究している人から見ると、これまでの技術と比べてどこが新しいんですか?
従来は映像と音声を一緒に生成すると、音は混ぜ合わせた一つのトラックとしてしか出力されず、個々の音源を切り離せませんでした。SepGenは一度の処理で各音源の波形を個別に出力するため、空間内の位置や動きに合わせて音を配置し直すことができます。
混ぜ合わせずに個別の波形が出るから、場所に合わせて音を動かせるんですね。音声の分離でどれくらい性能が違うんですか?
話されたセリフのテキストを Caption に含めてテストした場合は、言語条件で動く他の分離モデルを大きく上回りました。セリフのテキストを消してテストした場合でも、リードを維持しています。音声の分離が特に顕著です。
セリフのテキストがなくても性能が落ちないんですね。専門用語の Caption ですが、現場で使う技術者からするとどう解釈すればいいんですか?
Caption はここでは音源の内容を指定するテキストのことで、セリフの内容や楽器の種類、効果音のイメージなどを書き込むものです。例えば「男性が左から話しかける」といった位置や内容の指示です。
位置や内容をテキストで指示して、個別の波形を取り出すんですね。実録の音声や音楽、効果音でも試したそうですが、どこがまだ解けていないんですか?
テキストから合成したシーンや、実際の会話や音楽、効果音の録音で評価しました。キャプションからセリフを削除しても、性能は維持しています。
実際の録音でも試した上での話なんですね。最後に、次の展開として何が期待できるんですか?
論文のコードや学習済みモデル、評価用データは公開されており、個別の音源を取り出して映像と組み合わせる手元での検証ができる。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文