動画生成モデルに記憶の引き出しを内蔵する L2R、長期のシーン一貫性を改善する話

論文

動画生成モデルに記憶の引き出しを内蔵する L2R、長期のシーン一貫性を改善する話

スポンサーリンク

L2Rが、外部メモリなしで動画の長期一貫性を改善した

この記事のポイント

  • 外部メモリで過去情報を取得していた
  • 内部状態をメモリ化し取得を学習
  • 複数ベースモデルで長期一貫性を向上

どこで使えるか

外部メモリなしで長期一貫性を高めたい人向け。内部状態の活用で取得を学習 GitHubで公開済み 外部メモリ不要、3D条件不要

スポンサーリンク

解説

かみくだいて説明します

JiaKui Huらの研究チームが2026年10月8日、arXivに動画生成モデルの新しい手法 Learning to Retrieve、通称 L2Rを発表しました。カメラの動きに合わせて三次元の一貫性がある映像を生成する動画世界モデルにおいて、外部の記憶装置を使わずにモデル自身が過去の映像情報を呼び出す仕組みを組み込んだものです。
外部の記憶装置がないんですか。それは作る側から見て、組み込むのが簡単になるということですか。
はい。従来はモデルの外側に別途記憶の倉庫を設けて、映像がずれるのを防いでいました。L2Rはモデルが持っている内部的な状態をそのまま記憶として使い、カメラの向きに合わせて必要な情報だけを取り出すゲートと、いつ取り出すかを決める引き金を備えています。
引き金というのは、つまりモデルが自分で判断するということですね。
正確には三次元の再可視性という信号で制御しています。以前見た風景が再びカメラの視野に入ったら引き金が働き、それ以外はこれまでの情報をそのまま維持する仕組みです。これによって外部の記憶バンクや三次元条件なしに、長い動画でも映像のつながりが安定します。
引き金が働く条件が、また見慣れない言葉ですね。もう少しわかりやすく言うとどうなりますか。
分かりにくいですか。例えばあなたが部屋の中をぐるりと見回すとき、一度見た家具が再び目に入ったら「あ、これは先ほど見たものだ」と認識するのと同じです。モデルも同じように、視野に戻ってきた情報を呼び戻すことで、同じ場所が別のものに見え変わるのを防いでいます。
複数のモデルで試した結果、呼び出しの精度はどれくらい上がったんですか。
複数のベースモデルとカメラの戻り地点を測るベンチマークで、長期的なシーン一貫性を高めつつ、外部の記憶装置や3次元の条件が要らなくなっています。
速度が上がるなら、実用の道が近いですね。では、この手法は既存のモデルに後から付けられるんですか。
モデル固有の持続的な内部状態を記憶として使い直す仕組みなので、外付けの記憶や3次元の条件なしでも長期の場面一貫性を上げられます。
最後に、今後モデルの記憶能力がもっと進化すると、動画生成の現場はどのように変わるんですか。
複数の基盤モデルとカメラ再訪ベンチマークで、外部メモリや3D条件を使わずに長期的なシーンの一貫性を高めています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文