3Dシーンにループする動きを自動でつける OuroWorld、3D cinemagraph の生成

論文

3Dシーンにループする動きを自動でつける OuroWorld、3D cinemagraph の生成

スポンサーリンク

OuroWorldが 3D シーンにループする動きを自動でつけ、ユーザー評価の 70.8% で最上位。

この記事のポイント

  • 3Dシーンが時間的に凍結していた
  • VLMと動画モデルでループする3Dシネマグラフを構築
  • 39シーンで全ベースラインを上回る

数字で見る

この記事に出てくる数字

評価シーン数 39

どこで使えるか

3Dシーンに動きを付けたい人向け。ループ再生で没入感を高められる arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

You-Zhe Xie たちの研究チームが、arXiv に OuroWorld という手法を発表しました。静止した 3D のシーンを、どの角度から見ても途切れないループ動画に変えるフレームワークです。
3D の世界に動きをつけるんですね。見る方向を変えても同じリズムで動くんですか?
はい。まず映像生成モデルで基準となる動画を作り、それを複数の視点に広げます。ただし生成モデルは毎回少しずつ違う動きを出すので、そのままでは視点ごとにズレてしまいます。
視点ごとにズレてしまうと立体として不自然になりますね。どうやってズレをなくしているんですか?
周期を保障するフーリエ級数の変形フィールドと、基準の視点に固定されたドリフトフィールドを組み合わせた Inconsistency-Robust Periodic 4DGS を提案しています。フーリエ級数は三角関数を重ね合わせて滑らかな波を作る手法で、これを使うことで動きが必ず元の位置に戻ります。ドリフトフィールドは視点ごとのズレを基準の視点に押し付けるイメージです。
三角関数の波でループを固定して、ズレは一点に集約するんですね。これまでの手法と何が違うんですか。
従来は流体のような滑らかな動きしか扱えなかったのですが、OuroWorld は物体全体の移動や光の当たり方の変化も捉えます。動きの種類が限られていないのが特徴です。
物体の移動や光の変化まで対応するんですか。正解データなしでどう優劣を付けるんですか?
動きの鮮やかさ、自然さ、ループのつなぎ目、シーンの品質の 4 項目で測っています。39 本のシーンで既存の手法と比べたところ、ユーザー比較で 70.8% から 99.0% の確率で OuroWorld が上回りました。
正解なしでこの数値だと現場でも使えそうです。実際に使えるようになるには、まだ時間がかかりますか。
論文には公開の予定が明記されていません。そこはまだ分かっていません。
公開時期はまだ不明なんですね。では、この手法が 3D コンテンツ制作の標準になるには、何が課題になりますか。
39 本のシーンで評価し、すべてのベースラインを上回り、ユーザー調査の比較で 70.8% から 99.0% の勝利を収めています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文