映画の台本から空間と時間を意識した映像を作る手法、複数モデルで評価

論文

映画の台本から空間と時間を意識した映像を作る手法、複数モデルで評価

スポンサーリンク

ATASが、映画の台本から空間と時間を意識した映像生成を実現し、複数の動画生成モデルで評価された。

この記事のポイント

  • ショット間で空間と時間を共有できなかった
  • 台本を撮影指示に翻訳しシーンメモリで整合
  • 4生成器で最高。ただし比較群は限定的

数字で見る

この記事に出てくる数字

ベンチマーク項目 6
対応ビデオ生成器 4

どこで使えるか

長尺動画で空間と時間の整合を保ちたい人向け。台本から撮影指示を自動生成しシーンメモリで管理。 プロジェクトページで公開済み コードはページから入手可

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Weijie Wangらの研究チームが、2026年10月15日にarXivへ長尺の動画生成フレームワーク「ATAS」を発表しました。脚本をシーンごとの撮影指示に分解し、場所やカメラ位置、イベントの時刻を明示して動画生成モデルに渡す仕組みです。
複数のカットをまたいで空間や時間のズレが出ないよう、あらかじめ情報を整理するんですね。動画を作る技術者からすると、既存の手法と比べてどこが新しいんですか。
従来は直前のフレームやプロンプトを渡すだけでしたが、ATASはシーンメモリとイベントメモリの二つの記憶庫を別々に管理します。シーンメモリには建物の形状などの静止した情報を、イベントメモリには時系列で動く観察記録を記録し、必要に応じて検索して呼び出します。
記憶庫が二つあると。でも、生成した動画が間違っていた場合、その情報は記憶に残ってしまうんじゃないですか。
生成後にレビューと状態チェックを行い、記録が正しいと判断された場合だけメモリを更新します。再生側の配信はメモリの承認とは独立しているので、チェックを通らなかった場合でも動画自体はそのまま届きます。
正しいものだけを蓄積するんですね。実験結果はどうでしたか。
4つの動画生成モデルで評価したところ、カット間の整合性を測るすべての指標で改善し、各モデルのベンチマーク合計点で最高記録を出しました。比較対象のエージェントや3Dガイド付き手法よりも、目標画像への空間的な再訪問やイベントの再捕捉で上位を占めています。再訪問とは脚本に前のシーンに戻ってと指示したとき、同じ建物の同じ場所を正確に再現できるかを見ることで、実写のセットを何度でも入り直せるかと同じ考え方です。人間の評価6項目すべてで最高得点を獲得しています。
何度でも同じセットに入り直せるということですね。研究している人から見ると、まだ解けていない課題は残っていますか。
材料には具体的な課題の記載はありません。ただし、記憶庫の容量が動画の長さや複雑さに比例して増えるため、大規模な制作現場で実際に回す場合のコストや速度については、そこはまだ分かっていません。
実用化にはまだ確認が必要な部分があるんですね。最後に、コードは公開されているんですか。
動画の結果とコードはプロジェクトページで公開されています。論文の末尾にURLが記載されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文