ID-Forcingが、動画生成のドリフトを抑制し、数分間の動画生成を可能にした
この記事のポイント
- KV条件付けだけではドリフトを防げなかった
- 自己キャッシュでトレーニング分布に強制
- 標準ベンチで競合しドリフトを大幅低減
どこで使えるか
数分間の動画生成で品質低下を避けたい人向け。学習不要で既存モデルに適用可能 arXivで論文公開済み コード公開の記載なし
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Jeongwoo Shin さん、Youngyoon Choi さん、Sangwoo Jo さん、Hyunmog Kim さん、Sungjoon Choi さん、Joonseok Lee さん、Jaewoong Choi さん、Jaemoo Choi さんの研究チームが、動画生成モデルのテスト時に適用する In-Distribution Forcing という手法を発表しました。これまでに短い動画の生成が得意だったモデルを、分数規模の長い動画に延長できることを実証しています。
長い動画になると色がずれるんですね。研究する人から見ると、これまでの手法とどこが違っていたんですか?
従来は過去に生成した部分の情報をキャッシュしてそれを参照するキーバリュー条件付けが主流でした。しかしテスト時に新しい情報を追加する際、キャッシュされる情報が学習時の分布から外れてしまう問題が起きていたんです。まるでコンパスで円を描く際、中心点を少しずつずらしていくと、円が螺旋状に崩れていくようなものです。
キーバリュー条件付けがずれると、なぜ色が崩れるんですか。もう少しやさしく言うとどうなりますか。
動画の切れ端を次々と繋げていく際、前の切れ端の色味を基準に次の切れ端を生成します。基準がずれると、まるで色鉛筆でなぞり書きを繰り返すうちに線が太く滲んでいくようなものです。
滲んでいくんですね。作る人から見ると、この手法は現場で使われているやり方を置き換える話ですか、まだ先の話ですか。
テスト時のフレームワークなので、既存モデルにそのまま適用できます。自己キャッシュという仕組みで、新しい動画の切れ端を参照する前に独立してキャッシュし、窓の範囲を常に学習時の分布に保ちます。
そうすると色が崩れにくくなるわけですね。AI を使う側から見ると、今まで困っていたことのどれが減りますか。
標準的な評価ベンチマークでも競合する水準を維持しつつ、ドリフトの抑制で従来手法を大きく上回りました。ドリフト指標とユーザー調査の両方で検証されています。
指標とユーザー調査で確かめたんですね。ドリフトの抑制が従来より大幅に改善したと。
具体的な数値差は提示されていません。ただ、ドリフト指標とユーザー調査の両方で有意差が確認されたと報告されています。
分数規模と表現されているんですね。では、具体的に何分まで生成できるんですか。
そこはまだ分かっていません。論文では分数規模と表現していますが、上限の秒数やフレーム数は明記されていません。
他のモデルにも適用できると期待できますね。最後に、対応するモデルの範囲はどのくらいなんですか。
自己回帰型動画拡散モデルを対象としていますが、標準ベンチマークで競争力があることが示されています。
なるほど、汎用性がありそうですね。
標準的なベンチマークでも競争力があることが、広範な評価で示されています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。