GenCineが、画像から3Dシーンを作成しカメラと物体の動きを同時に制御する手法を公開した。
この記事のポイント
- 2D軌道では3D動きが一意に定まらない
- カメラと前景を別々に制御する3Dシーンを作成
- 複数の実シーンでカメラ相対的な動きが安定
どこで使えるか
カメラと物体の動きを別々に制御したい人向け。2D軌道では3D動きが一意に定まらない課題を解決。 arxivで論文公開済み WanモデルのLoRAアダプタはコード公開次第利用可能
スポンサーリンク
解説
かみくだいて説明します
Jiahan Zhangらの研究チームが、単一の静止画からカメラと被写体の動きを同時に操作できるGenerative Cinematographer、通称GenCineというシステムを、2026年10月2日に出されました。従来の2次元の軌道やドラッグ信号では、カメラと物体が同時に動いたときに3次元の動きが定まらないという課題を、3次元のシーン構成とガイドマップという仕組みで解決しています。
2次元の軌道では動きが定まらないんですか。カメラの動きと被写体の動きをどう区別しているんですか?
区別は、各操作部分にフレーム全体を通して変わらない色を割り当てることで行っています。例えば被写体の腕と足を別々の色でマークすると、システムはその色を追跡して3次元空間での位置を計算し、カメラが動いても腕と足の相対的な動きを正確に再現します。
色で追跡するんですね。その色分けの作業は、専門のソフトを使わないとできないんですか。
専用の3次元操作ハンドルを使って、画面の中で直接動かす形です。物理シミュレーターや特定の物体カテゴリに限定する事前知識を使わずに、複数のハンドルで被写体の異なる部分を独立に動かせるため、柔らかい動きもパーツごとに区切って表現できます。
物理シミュレーターを使わないんですか。動きが不自然になったりしないんですか。
実験の結果、カメラ相対の動きが安定し、視点が変わっても幾何学的な整合性が向上することが確認されています。実写の映像から動きを回収して制御情報を得て、合成映像の正解データで訓練した軽量のガイドブランチとLoRAアダプターを使うことで、多様な実世界のシーンでも強い操作性を保っています。
実写の映像から制御情報を得るんですか。実際に使うには、訓練されたモデルそのものが必要になるんですか。
訓練済みのWanモデルに追加で学習させる方式です。既存のモデルに軽量のアダプターを組み込む形で動くため、ゼロから訓練し直す必要はありません。ただし、システムが出力する3次元の座標情報や、特定のフレームでの制御領域の正確さについては、そこはまだ分かっていません。
追加学習で動くんですね。このシステムは、映像制作の現場ですぐに導入できる見込みですか。
実写映像での実験結果は示されていますが、制作現場への組み込み方や他の動画生成モデルとの互換性については論文では触れられていません。
最後に、実写映像から制御情報を得る仕組みは、他の動画生成システムでも応用できる見込みですか。
実写映像から制御情報を取り出して、事前学習済みのWanモデルの訓練に使っています
出典
この記事のもとになった情報
- arXiv:Generative Cinematographer: Composing Camera and Object Motion in 3D
- 公開日:2026-10-02
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。