CRPが、6.14 点の性能差をほぼ埋める結果を出した
この記事のポイント
- 因果モデルは生成履歴への依存が問題
- CRPで履歴への依存を減らす手法提案
- VBenchで6.14ポイント差をほぼ解消
数字で見る
この記事に出てくる数字
| パラメータ数 | 2B |
|---|---|
| VBenchスコア | 82.78 |
| 学習データ数 | 15M |
どこで使えるか
生成モデルの履歴依存を減らしたい人向け。教師なしで因果モデルの品質を上げられる 論文に記載あり。実装は非公開 5秒480p動画生成。VBench評価付き
スポンサーリンク
解説
かみくだいて説明します
Bowen Zhengらの研究チームが、2026年10月8日に動画生成の新しい学習手法をarXivに公開しました。従来の因果モデルは双方向モデルより品質が劣るため、多くの手法が双方向モデルを教師として使ってきましたが、この手法は画像モデルの重みを初期値として使い、双方向モデルを一切登場させずに学習を進めます。これにより、複雑な知識蒸留の工程を省き、およそ1500万本のデータで品質を上げる道筋を示しました。
双方向モデルを使わないんですか。作る側からすると、この手法はすでに現場で使われている双方向モデルを置き換える話ですか。
既存の双方向モデルを置き換える方向です。双方向モデルは過去の動画全体を一度に見ますが、この手法は一つずつ順番に動画を作ります。動画配信やユーザーの操作に合わせてリアルタイムで生成する場面では、この順番に作る方が適しています。
なるほど、順番に作る方が配信には向いているんですね。研究している人から見ると、どこが新しいんですか。
学習の仕方が変わります。従来は双方向モデルから教わって品質を上げてきましたが、この手法は画像モデルの重みをそのまま初期値にして、動画データだけで学習を始めた点です。双方向モデルという大きな教師を準備する必要がなくなり、計算資源の面でより広い範囲で試せるようになりました。
画像モデルの重みを初期値にするんですか。そこがまだ掴めません。
画像モデルは写真から形や色を読み取る技術です。それを動画の最初のフレームを作る部分に使い、そこから動画として順番に伸ばしていくイメージです。写真を作る技術の延長線上に動画を作る仕組みを乗せた、ということです。
写真の技術を土台に動画を作るんですね。CRPは今の景色を優先して、過去は補足だけ使う仕組みなんですね。
正確には、CRPは条件への依存を減らす仕組みです。モデルはまず条件を使わずに目標を予測し、条件は予測の上に追加される残差としてだけ働きます。動画の履歴に適用すると、現在地から先をできるだけ自分で予測し、過去は現在が足りない部分だけを補完する使い方になります。地図を頼りに進む代わりに、今の景色を見て道を選び、過去の記憶は迷ったときだけ参照する、といった感じです。
82.78で6.14ポイントの差がほぼなくなったんですか。では、この手法で生成できる動画の長さについて聞きたいんです。
Opticaは20億パラメータのモデルです。5秒間の480pの動画を順番に生成できます。VBenchという評価基準で82.78を記録しています。動画の長さについては、因果モデルは一つずつ順番に作る仕組みなので理論上は5秒以上も伸ばせますが、具体的な上限の数字は材料にありません。そこはまだ分かっていません。
最後に、今後の展開について教えてください。
双方向モデルを使わない学習パスは、同じ設定の双方向モデルとの差をほぼ埋めるところまで来ていますが、その先の詳しい見通しはまだ要旨からは分かりません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。