カメラを動かしながら動画を作る AlayaVista、全景を基に視点動画ストリーミング生成

論文

カメラを動かしながら動画を作る AlayaVista、全景を基に視点動画ストリーミング生成

スポンサーリンク

AlayaVistaが、全景を基にカメラ操作で動画ストリーミング生成する手法を公開。

この記事のポイント

  • 既存手法は視野と解像度のトレードオフ
  • この手法は全景と視点を分離した
  • 4K超1318時間データで学習

数字で見る

この記事に出てくる数字

シーン範囲 360度
動画データ量 1,318時間
解像度 4K以上

どこで使えるか

カメラ操作で動画ストリーミング生成したい人向け。全景と視点を分離し、4K超データで学習 論文に記載なし MUGENデータセットの公開状況は不明

スポンサーリンク

解説

かみくだいて説明します

Jiaming Tan さんたちの研究チームが、AlayaVista というカメラの動きに合わせて動画を作り出す世界モデルを発表しました。画面外まで正確に風景を保ちながら、低遅延で高精細な映像をストリーミングで届ける仕組みです。
画面外まで保つというのは、従来の方式だとカメラを回した瞬間に横の風景が消えていた話ですね。では、全体像と細部をどう分け持っているんですか。
全体像と細部を別々の段階で処理します。まず一枚の写真から、学習済みパノラマ拡張モデルで 360 度の事前情報を作り、カメラの動きに合わせて全景の潜在状態として進めます。その後、潜在ビューポートレンダラーが希望する視点の動画潜在状態に落とし込み、パースペクティブリファイナーがディテールを戻してアーティファクトを抑え、スーパーリゾリューションをかけます。
潜在状態というのがまだ掴めません。専門用語をそのまま並べられてもイメージが湧きにくいんですが、もう少しやさしく言うとどうなりますか。
潜在状態というのは、画像データそのものではなく、風景の情報を圧縮して数字の羅列で扱う中間形式です。例えば、地図アプリで拡大縮小してもデータ量が増えないのと同じで、全景の情報を一度圧縮しておけば、必要な切り取り位置だけをその場で解凍して動画にできます。
圧縮しておいて必要な場所だけ解凍するんですね。では、ストリーミングで使う場合、データ量や処理速度はどれくらい変わるんですか。
効率的なストリーミングに向けて、全景生成モデルをチャンク単位で連続生成する形に改造し、生成と補正の両方を少ないステップ数に圧縮しました。これにより、カメラを動かすたびに最初から作り直すのではなく、区切りごとに連続して動画を送り出せます。
チャンク単位でつなげて送る方式ですね。では、この技術を組み込む側からすると、既存の画像生成モデルと置き換わる話ですか、まだ先の話ですか。
既存のモデルを置き換えるというよりは、全景の進化と視点の生成を分離した新しいパイプラインです。手元で動かすには、学習済みパノラマ拡張モデルとレンダラー、リファイナーの 3 つを連携させる環境が要ります。公開の有無については、そこはまだ分かっていません。
3 つのモデルを連携させる環境が必要なんですね。では、評価データはどう用意したんですか。
評価用に MUGEN という大規模パノラマ動画データセットを構築しました。1,318 時間の動画で、解像度は少なくとも 4K です。セマンティックな意味情報とジオメトリの注釈を豊富に付けています。
1,318 時間分、4K 以上のパノラマ動画で訓練したんですね。最後に、このモデルの今後の展開について、何がまだ見えていないんですか。
実機での遅延数値や、屋外動画以外のシーンへの対応範囲については、まだ具体的な数値が示されていません。当面は研究コミュニティでの検証が進むのを待つ形になりそうです。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文