3DGS に水の流れを自動で追加する手法、静止画から 3D 動画を作る話

論文

3DGS に水の流れを自動で追加する手法、静止画から 3D 動画を作る話

スポンサーリンク

Make It Flowが、静止画やモデルレンダリングから水の流れを 3DGS に自動で追加した。

この記事のポイント

  • 高周波の水流をカジュアルな撮影条件で再現できなかった
  • 静止画またはモデルレンダリングから推定した2D光流を3D運動場に変換しガウシアンを変形させた
  • 野外滝のデータセットで動的GSや3Dシネマグラフより視覚品質と効率で改善した

数字で見る

この記事に出てくる数字

2D光フロー 2D
3Dオイラー場 3D

どこで使えるか

水の流れを自然に動かしたい人向け。3DGSの静的シーンにリアルな動きを追加 論文公開済み(arXiv) 独自データセット使用。実装公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Kjell Keuneらの研究チームが、2026-10-10にarXivに論文を発表しました。3D Gaussian Splattingで静止した3次元の風景に水の流れを動かす手法を開発し、物理シミュレーションなしにリアルタイム描画と自由な視点ナビゲーションを維持します。
静止画から動きを作るんですか。参考画像はどれくらいあれば動かせますか。
はい、参考画像やモデルが描いたレンダリング画像から、2次元の光流束を推定します。光流束というのは、隣り合う画像で画素がどこに動いたかを表すデータです。それを3次元空間に持ち上げることで、水しぶきが飛ぶ方向や速さを一貫した動きの場として定義します。Gaussianプリミティブと呼ばれる立体の粒をその場で変形させるだけで、ループするアニメーションが完成します。
なるほど、粒を動かすだけなら計算が軽そうですね。実際に動かすのに、特別なハードウェアは要りますか。
特別なハードウェアは必要ありません。既存の3D Gaussian Splattingの環境でそのまま動かすことができ、リアルタイムでの描画性能を維持します。評価は、野外で撮影した滝のシーンを使った新しいデータセットで行い、従来の動的なGaussianスプラッティングや3次元シネマグラフ生成の手法と比較しました。視覚的な品質と計算効率の両方で明確な改善を示しています。
ループするアニメーションというのは、最後まで再生したら最初から繰り返すということですね。その切れ目は、見ても分かりますか。
はい、切れ目なく繰り返します。シネマグラフと呼ばれる手法からヒントを得ており、動きの場を滑らかに接続するアルゴリズムを適用しています。最初のフレームと最後のフレームが自然に繋がるよう調整するため、視聴者がループの切り替わりに気づかないように設計されています。
計算効率が上がったのは、物理シミュレーションを省略したからですね。では、動きが複雑になると、処理が重くなったり止まったりしますか。
そこはまだ分かっていません。論文では滝のような水の流れに焦点を当てて検証しています。複雑な動きへの対応については、発表された内容からは確認できません。
確かに、水の流れに特化した検証ですね。では、静止した部分との切り替えはどうなりますか。
はい、水の流れだけが動きます。手法は静止した3次元シーンに動きを付け加える仕組みなので、滝以外の部分は元の状態を維持します。自由な視点でのナビゲーションもそのまま残るため、見る角度を変えても水だけが一貫して流れるアニメーションになります。
確かに、静止部分と動いている部分の区別がはっきりしているんですね。最後に、研究している人から見ると、どこが新しいポイントになりますか。
特殊な撮影機材や物理シミュレーションなしに、リアルタイムで動く3次元表現を作れる点が新しいです。従来の手法では高密度なマルチビュー撮影や高速撮影が前提でしたが、カジュアルな撮影条件でも適用できるため、現場での導入ハードルが下がります。今後の課題としては、より複雑な流体の挙動への対応や、他の動的な要素への拡張性が残っています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文