PMDは、Wan2.1 を改変せずに 3D モーションを生成し、テキストとモーションの整合性で専用モデルに迫る。
この記事のポイント
- 3Dモーション生成は従来、専用モデルが必要だった
- ホストモデルの中間特徴から直接モーションを復元するパラサイトモーションデコーダーを導入
- 専用モデルを上回るが、パラメータ数はその一部のみ
数字で見る
この記事に出てくる数字
| モデル名 | Wan2.1 |
|---|---|
| パラメータ比 | 小分数 |
どこで使えるか
3Dモーションを自前で生成したい人向け。学習不要で動画モデルを流用できる arXivで論文公開済み Wan2.1の重みが必要。コード公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Yunjiao Zhou さんらの研究チームが、動画生成モデルから 3D の人間の動きを直接取り出す新しい手法を発表しました。名前は寄生型共脱ノイズ、略して PMD です。
動画モデルから動きだけを取り出すなんて、意外な発想です。凍結したまま重みを一切変えないというのは、訓練の手間が大幅に減りそうです。
そうです。通常は新しいモデルを別に訓練しますが、この手法は既存の Wan2.1 という動画モデルの途中経過から信号を読み取ります。動画を作る過程で、ノイズを段階的に消していくステップ全体に、実は 3D の動きの情報が潜んでいるのを発見したのが発端です。
なるほど。段階的に消していく途中の情報を拾うわけですね。そのとき、動きだけを正確に抜き出すのはどうやっているんですか。
動きを専門に扱う小さなデコーダーを、動画モデルの横に寄生させる形で付けます。動画モデルが共有するノイズのスケジュールをそのまま使い、中間層の特征をシグマ適応型の多層融合で読み取ります。これは、ノイズの多い初期段階では大まかな動きの骨格を捉え、段階が進むにつれて細かい関節の動きを精密に拾い上げる、段階追従型の読み取り方です。動画モデル本体は一切触らないので、訓練が必要なパラメータはごく一部で済みます。
本体を変えずに横付けするんですね。テキストと動きの一致度は、専門の動きモデルより良くなっているんですか。
訓練に必要なパラメータは専門モデルのわずかな数ですが、テキストと動きの一致度では専門モデルを上回りました。動画と 3D 動きを一度にペアで出力できる点も、動きだけ出す従来の手法にはない強みです。
一回の処理で動画と動きの両方が出るんですか。これは現場で使う側から見ると、パイプラインがかなり簡素化できそうです。では、この手法の限界や、今後どのような応用が考えられるか気になります。
動画モデルから運動情報を取り出す考え方は、動画生成という枠組みの中で成り立つ手法として示されている。
最後に、実用化のタイミングや、他のモデルへの適用見通しについて教えてください。
実用化や他モデルへの適用見通しについては、要旨では具体的な日程や計画には触れられていません。パラメータ効率や単一パスでの生成といった技術的貢献が中心です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。