2K 解像度で動画と音声を同時に生成する Prism、トレーニングの高速化

モデル

2K 解像度で動画と音声を同時に生成する Prism、トレーニングの高速化

スポンサーリンク

Prismが、2K 解像度で動画と音声を同時に生成するモデルのトレーニングを高速化した。

この記事のポイント

  • 2K解像度で動画と音声を同時生成するモデル
  • 音源領域を中心にスパースな注目を動的に配分
  • Python3.10とCUDA12.4で動作する公開コード

数字で見る

この記事に出てくる数字

学習解像度 2K
Python要件 3.10

どこで使えるか

2K動画と音声を同時に生成するモデルを自前で学習したい人向け。 Hugging Faceで公開済み Python3.10以上、CUDA12.4以上が必要

動画を見る

スポンサーリンク

解説

かみくだいて説明します

FrancisRing が 2026年9月24日に、動画と音声を同時に生成するモデルの学習を高速化する技術 Prism を公開しました。复旦大学と腾讯のチームが開発したもので、2K解像度での動画と音声の同時生成に対応し、従来の全結合の注意力機構と比較して学習速度がおよそ 2.5倍速くなります。
動画と音声を一緒に作るモデルの学習が速くなるんですか。
はい。従来の方法だと映像の断片であるトークンが増えるほど計算量が急増していましたが、Prism は必要なトークンだけ重点的に処理します。まるで広い図書館で、今読んでいるページ周辺の書籍だけを取り出して読むようなイメージです。
映像の断片が急増するんですか。トークンがまだ掴めません。
映像を細かく区切った一つ一つの塊です。動画のフレームを写真のように並べたとき、1枚1枚の画像をトークンと呼びます。Prism はその塊の数だけを減らして、計算の負担を軽くしています。
画像を 1 枚 1 枚の塊として扱うんですね。
正確には、映像の変化が激しい場所や音と映像の結びつきが強い場所ほど、ブロックを細かく区切ります。これにより映像の内容と動画音声の連携パターンを、ブロック単位で正確に捉えられるようになります。
映像の変化が激しい場所は細かく、音と映像の結びつきが強い場所も細かくするんですか。
その通りです。実験では 720p、1080p、2K の各解像度で、従来の全結合よりも生成品質が向上したことを確認しています。Python のバージョン 3.10 以上と CUDA のバージョン 12.4 以上、そして ffmpeg が必要です。
では、作る人として、現場で使われているやり方を置き換える話ですか。
はい、動画音声の特性を動的に反映する手法です。既存の手法は学習なしの加速や特性の無視が大半でしたが、Prismは2.5倍の高速化と品質向上を実現しています。
動画音声の特性を反映するんですか。
はい。特に動画の映像部分の振る舞いと、音声が映像に与える影響の強さを同時に評価し、それに合わせて処理の範囲を自動で調整します。これまでは動画と音声を別々に扱うか、あるいは計算量を無視して全範囲を処理するかしか選択肢がありませんでしたが、Prism はその中間の最適解を提示します。
最後に、今後の展開について教えてください。
今後、より高解像度での学習や、他のマルチモーダルモデルへの応用が期待されますが、具体的なサポート範囲や今後のロードマップについては、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル