動画生成モデルを改変せずに3Dモーションを得るPMD、パラメータを抑えた生成の話

論文

動画生成モデルを改変せずに3Dモーションを得るPMD、パラメータを抑えた生成の話

スポンサーリンク

PMDは、Wan2.1 を改変せずに 3D モーションを生成し、テキストとモーションの整合性で専用モデルに迫る。

この記事のポイント

  • 3Dモーション生成は従来、専用モデルが必要だった
  • ホストモデルの中間特徴から直接モーションを復元するパラサイトモーションデコーダーを導入
  • 専用モデルを上回るが、パラメータ数はその一部のみ

数字で見る

この記事に出てくる数字

モデル名 Wan2.1
パラメータ比 小分数

どこで使えるか

3Dモーションを自前で生成したい人向け。学習不要で動画モデルを流用できる arXivで論文公開済み Wan2.1の重みが必要。コード公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Yunjiao Zhou さんらの研究チームが、動画生成モデルから 3D の人間の動きを直接取り出す新しい手法を発表しました。名前は寄生型共脱ノイズ、略して PMD です。
動画モデルから動きだけを取り出すなんて、意外な発想です。凍結したまま重みを一切変えないというのは、訓練の手間が大幅に減りそうです。
そうです。通常は新しいモデルを別に訓練しますが、この手法は既存の Wan2.1 という動画モデルの途中経過から信号を読み取ります。動画を作る過程で、ノイズを段階的に消していくステップ全体に、実は 3D の動きの情報が潜んでいるのを発見したのが発端です。
なるほど。段階的に消していく途中の情報を拾うわけですね。そのとき、動きだけを正確に抜き出すのはどうやっているんですか。
動きを専門に扱う小さなデコーダーを、動画モデルの横に寄生させる形で付けます。動画モデルが共有するノイズのスケジュールをそのまま使い、中間層の特征をシグマ適応型の多層融合で読み取ります。これは、ノイズの多い初期段階では大まかな動きの骨格を捉え、段階が進むにつれて細かい関節の動きを精密に拾い上げる、段階追従型の読み取り方です。動画モデル本体は一切触らないので、訓練が必要なパラメータはごく一部で済みます。
本体を変えずに横付けするんですね。テキストと動きの一致度は、専門の動きモデルより良くなっているんですか。
訓練に必要なパラメータは専門モデルのわずかな数ですが、テキストと動きの一致度では専門モデルを上回りました。動画と 3D 動きを一度にペアで出力できる点も、動きだけ出す従来の手法にはない強みです。
一回の処理で動画と動きの両方が出るんですか。これは現場で使う側から見ると、パイプラインがかなり簡素化できそうです。では、この手法の限界や、今後どのような応用が考えられるか気になります。
動画モデルから運動情報を取り出す考え方は、動画生成という枠組みの中で成り立つ手法として示されている。
最後に、実用化のタイミングや、他のモデルへの適用見通しについて教えてください。
実用化や他モデルへの適用見通しについては、要旨では具体的な日程や計画には触れられていません。パラメータ効率や単一パスでの生成といった技術的貢献が中心です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文