画像から人物を固定する Custom Forcing、自動再生成で顔が崩れるのを防ぐ話

論文

画像から人物を固定する Custom Forcing、自動再生成で顔が崩れるのを防ぐ話

スポンサーリンク

Custom Forcingが、2 分以上の動画で顔の崩れを防ぎ、フレーム生成を 9.5〜28.5 倍高速にした

この記事のポイント

  • 固定アンカーではアイデンティが崩れる
  • 参照画像をKVキャッシュに保存して補正
  • DINO-I 0.58〜0.62を維持、9.5〜28.5倍高速

どこで使えるか

2分以上の動画で顔の崩れを防ぎたい人向け。学習不要で既存モデルに組み込める arXivで論文公開済み モデルコード公開の記載なし。推論速度は9.5-28.5倍高速

スポンサーリンク

解説

かみくだいて説明します

Kyung Hee University と The University of Texas at Austin の研究チームが、arXiv に「Custom Forcing」という手法を発表しました。テキストだけで動画を作っていたモデルに、ユーザーが用意した写真の人物をそのまま映せるようにしたものです。
写真から人物を固定するんですか? 今までの方法だと、毎回モデルを学習し直す必要があったんですか?
そうです。従来の手法は対象ごとに最適化を進めるか、双方向の注意力を使って全フレームを一度に処理するかでしたが、どちらも動画を一フレームずつ生成する仕組みには向いていませんでした。Custom Forcing は学習不要で、写真の重要なフレームをモデルの記憶領域に保存するだけで対応します。
固定しただけだと顔がだんだん変わってしまうんですか。
確かに人物の顔が別の印象にずれる現象が起きていました。ドリフト適応値増幅では、写真の影響力を舵取りするように調整します。ナビが目的地から外れたときだけ案内を強く出すようなイメージです。-anchor contrast guidance では、テキストがデフォルトの人物像を推さないように制御しています。
舵取りのように調整するんですか。では、2 分の動画で人物の類似度はどれくらい保てるんですか?
固定しただけの手法では 2 分で 0.58 から 0.42 まで下がりますが、Custom Forcing は 0.58 から 0.62 の間を維持します。30 秒以上の動画でも因果画像動画モデルや参照動画モデルより人物の一致度が高く、フレーム生成は従来の長動画ベースラインより 9.5 倍から 28.5 倍高速です。
9.5 倍から 28.5 倍も速いんですか。では、実機で動かすのに特別な環境は要りますか。
特別な環境の追加は不要です。学習済みのモデルを凍結した状態で使い、KV キャッシュに保存するだけなので、既存のリアルタイム生成パイプラインにそのまま組み込めます。
既存のシステムにそのまま乗せるんですか。では、テキストプロンプトだけで別の人物を指定したときは、どうなるんですか?
写真の人物を優先する方向に制御しているので、テキストだけで別の人物を指定したときでも、保存した参照フレームの影響は残ります。正確にはテキストがデフォルトの人物像を推す力を弱める仕組みを入れています。
デフォルトの人物像を弱める制御なんですね。最後に、この手法は他のモデルにも適用できるんですか。
論文では自己回帰型の動画生成モデルを対象に検証しています。他のアーキテクチャへの適用については、そこはまだ分かっていません。
自己回帰型が対象なんですね。では、実用化に向けてまだ残っている課題はありますか。
2分以上のロールアウトでDINO-Iスコアを0.58から0.62の範囲に保ち、動きの質を低下させることなく人物の一致度を維持できることを確認しています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文