ユーザーの動画コレクションからBロールを生成するMemComposer、記憶ベースの生成手法

論文

ユーザーの動画コレクションからBロールを生成するMemComposer、記憶ベースの生成手法

スポンサーリンク

MemComposerが、ユーザー動画からBロール生成で60%以上の選好率を獲得

この記事のポイント

  • 数時間の映像から各ショットの根拠を選べなかった
  • メモリ構築と計画・生成でBロールを自動作成
  • 生成は優れるが、視覚整合では取得素材が勝る

どこで使えるか

ユーザー動画からBロールを自動生成したい人向け。生成モデルの視覚整合を補完できる 論文発表のみでコード公開なし MemComposerのシステム構成が記載

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Cusuh Hamらの研究チームが2026-10-02に発表したMemComposerは、ユーザーの動画コレクションからBロール映像を自動生成するシステムです。数時間の生映像からキャラクターや背景、オブジェクト、スタイルを記憶として整理し、自然言語の指示と目標の長さを入力すると、Aロールを補完する複数カットのシーケンスを生成します。
生映像から必要な場面を選ぶんですね。この記憶の整理は手動なんですか。
一度のオフライン処理で自動で構築します。生映像を解析して、登場人物や場所、小道具、映像の雰囲気を構造化されたメモリに変換し、その後の指示計画やフレーム取得、生成と批評の繰り返しに利用する仕組みです。
写真のアルバムにタグを付けるイメージに近いですか。
正確にはそれに近いです。ただ、タグ付けだけでなく、映像の隅々までをデータベースのように整理して、生成するたびにその中から必要な写真や動画の断片を引っ張ってくる点が違います。
視覚の一致が圧倒的ですね。生映像を切り取った場合と比べるとどうなりますか。
視覚の一致では生映像が58.2%で上回りましたが、生成は指示の正確さで94.5%と勝ちました。生映像の切り取りと生成の使い分けが鍵ですね。
生成と切り取り、使い分けが鍵になりますね。研究している人から見ると、どこが新しいんですか。
既存の手法がテキストの指示だけで映像を作るのに対し、生成した映像を繰り返し批評し直して、人物や場面、ショットのまとまりとしての一貫性を保たせる点が新しさです。
実用化に向けた課題を教えてください。
検索して並べるだけの方法と比べると、見た目の一致では58.2%の比較でそちらが好まれる結果でした。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文