カメラの動きと未来の配置を制御する LIFT、動画生成の手法

論文

カメラの動きと未来の配置を制御する LIFT、動画生成の手法

スポンサーリンク

LIFTが、カメラの動きと未来の配置を同時に制御する動画生成を実現した。

この記事のポイント

  • 既存制御は未来の視点を正確に指定できず
  • 大視点変化のデータセットと自己蒸留で対応
  • 品質と制御性が向上。ただし大視点変化で顕著

どこで使えるか

未来の画面構成を指定したい人向け。カメラ軌道と未来の配置を同時に制御可能 コードの公開は記載なし 論文のみ公開

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Shengxiang Jiらの研究チームが、2026-09-30に画像から動画を作る新しいフレームワーク、LIFTを発表しました。既存の手法はカメラの動きやテキスト指示だけで将来の映像を決めていましたが、LIFTは最後のフレームに何がどこに映るかを直接指定できる仕組みを加えています。
最後のフレームだけを指定するんですか? 途中のフレームは指示しないのですか?
途中の指示がない分、モデルが迷いやすくなるため、すでに詳しい指示に慣れたモデルから、最後の指示だけで動くモデルに技術を移す手法、OPSDというものを導入しました。例えば、全部のページに答えが書いてある参考書で勉強した生徒が、最後に答えだけ載った問題集だけで同じ点数を取れるように訓練するイメージです。
参考書の答えを最後だけ見て覚える訓練ですね!
正確には、詳しい指示で動く先生役のモデルから、最後の指示だけで動く生徒役のモデルへ、制御の技術を転写する作業です。
なるほど! これまでにできなかったことは何だったんですか?
画面を大きく回転させたとき、最初のフレームには映っていない新しい場所が映り出す点です。テキスト指示だけでは場所の精度が足りず、カメラの軌道だけだと映る内容が定まらなかった問題を、最後のフレームの配置指示で解決します。
確かに大きな角度で回すと途端に内容が崩れそうです。
その通りです。そこで大きな視点の変化がある動画と、カメラの動き、そして時間軸で一貫した配置の注釈を合わせた、LIFT-Vistaというデータセットを用意しました。
時間軸のズレがない配置データで鍛えるんですね! 他の手法と比べて、どれくらい良くなったんですか?
映像の品質、将来の配置を指定する精度、そしてカメラの動きの制御精度の3点で、他の手法を上回る結果が出ました。具体的な数値の比較については、今回の発表では明示されていません。
数値までは公開されていないんですか。技術者側からすると、手元で動かすのに何が必要になりますか?
公開されたのは手法の枠組みと、大視点変化を伴うカメラ・時間一貫性のあるレイアウト注釈付きデータセットです。
では、最後に今後の展開について教えてください。
最後のフレームだけで映像の構成を制御できる道が開けたため、カメラワークと映像内容の両方を同時に設計する研究が加速すると見られます。ただし、実際の動画生成サービスに組み込まれるまでのスケジュールについては、現時点で分かっている情報はありません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文