Exaggeration Controlの推論時ガイダンスが、追加学習なしで誇張表現を制御可能にした
この記事のポイント
- モーション生成モデルは原則を見落としがち
- 2段階で誇張性を導入した
- 3モデルで誇張性と物理性を確認
数字で見る
この記事に出てくる数字
| 段階数 | 2 |
|---|---|
| 評価モデル数 | 3 |
どこで使えるか
アニメーターやゲーム開発者向け。誇張表現を制御可能に。 論文公開済み 独自データセットとDMP数式が必要
スポンサーリンク
解説
かみくだいて説明します
Amirhossein Zamani、Arianna Rampini、Bruno Royらの研究チームが、テキストからキャラクターの動きを生成するモデルに、アニメーターが使う誇張の技術を組み込む手法を発表しました。既存のモデルは物理的に正しい動きは作れますが、表情や迫力が足りず、プロのアニメーターが使う誇張の原則が欠けていました。
誇張を組み込むんですか? 作り手側からすると、既存のモデルに後から付け足すだけでいいんですか?
2つの段階で対応します。1つ目は学習時の適応で、事前に作られたテキストから動きを生成するモデルを、誇張の動きを集めたデータで教師ありファインチューニングします。これは既存のモデルに、誇張の動きのサンプル集を見せて真似を繰り返させる追加練習のイメージです。2つ目は推論時のガイダンスで、ダイナミックムーブメントプリミティブという数式を使って、生成中に動きを誇張方向に誘導します。追加の学習なしに、拡散モデルやフローマッチングのモデルに適用できます。
追加練習のイメージは分かりますが、ダイナミックムーブメントプリミティブの方はそこがまだ掴めません。動きを誇張方向に誘導するだけなのに、なぜ数式が必要なんですか?
数式は動きの軌道を制御する枠組みです。例えばボールを投げると放物線を描きますが、その軌道の形を変えずに、高さや遠さを倍に引き伸ばす計算ができます。誇張の度合いを数値で指定できるため、元の動きの意図を損なわずに、物理法則の範囲内で派手にできます。
元の意図を損なわずに派手さに変えられるんですね。3つのモデルで評価したそうですが、誇張度はどれくらい変わるんですか?
数値の評価では、誇張度と表現力のスコアがすべて比較対象のモデルを上回りました。物理的な妥当性を測る指標でも、元の動きの意図を留める度合いでも、劣化は見られませんでした。定性評価でも、アニメーターが「生きているような動き」と評価したケースが明確に増えています。
物理法則の範囲内で派手にできるなら、制作現場の負担は減りそうです。作る人から見ると、この手法はすでに使われているパイプラインにそのまま組み込める話ですか?
組み込みは可能です。推論時のガイダンスは、既存の拡散モデルやフローマッチングのモデルに追加学習なしで挿入できる設計です。数式に基づく指示信号を生成途中に差し込むだけでよく、モデルの内部構造を書き換える必要はありません。
内部構造を変えずに差し込めるんですか。では、研究する人から見ると、どこが新しいんですか。これまでの手法で誇張が実現できなかった理由は何ですか?
これまでの手法は誇張を数式で明示的に制御しなかったため、意図と物理的妥当性を維持しつつ誇張度を上げるのが難しかったです。この手法は誇張を数式で明示的に制御するため、3つのモデルで検証した結果、意図を維持しながら誇張度を上げられることを実証しました。
物理と表現の両立が数式で制御できるんですね。最後に、この手法の今後の展開はどのようになりますか?
誇張の度合いを細かく指定できるため、キャラクターごとに異なる表現スタイルに対応できます。ただし、この手法が適用できる動きの種類や、より複雑な動作への拡張については、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。