テキストと動きを双方向に結びつけるMMDiT Timo、人間動作生成の精度を上げる話

論文

テキストと動きを双方向に結びつけるMMDiT Timo、人間動作生成の精度を上げる話

スポンサーリンク

Timoが、テキストと動きの双方向関係を学習し、既存手法を上回る精度を出した。

この記事のポイント

  • MMDiTを直接適用すると不自然な動きになる
  • 運動学制約付きMMDiT「Timo」を提案
  • 6次元ベンチでKimodoを5項目で上回る

どこで使えるか

テキスト指示で自然な動きを生成したい人向け。運動学制約で不自然さを解消 論文公開済み ベンチマークは6データセットから構成

スポンサーリンク

解説

かみくだいて説明します

テキストプロンプトから人間の手や足を動かす動画生成って、最近かなり普及しましたよね?
はい、確かにその通りです。テキスト指示を正確に身体動作に変換する技術は、ゲームやVRの現場で急速に需要が増えています。
でも、既存の手法だと指示と動きの同期がずれたり、指先が勝手に動いたりしませんか?
そうです。既存の手法はテキストとモーションの双方向のモデル化を無視しているため、テキスト理解が制限されてしまいます。
今回arXivで公開されたTimoは、マルチモーダル拡散変換器を人間動作生成に特化させた新しいフレームワークです。
そのアプローチって、具体的にはどういう仕組みなんですか?
双方向のテキストとモーション情報を完全に共有するアテンション層を採用し、関節の回転角度や時間変化を幾何学的に監視する仕組みです。
関節の動きを数学的に正しく保つように導くんですね!
改善効果はどのくらいあるんですか?
6つの公開データセットから抽出した40,025本のテスト動画で6つの次元を評価した結果、既存の最先端手法を大幅に上回っています。
比較対象のKimodoとの差はどれくらいですか?
平均ベンチマークスコアで40.8%の相対向上を達成しており、6次元のうち5次元で圧倒的な差をつけています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。その通りで、Timoは運動とテキストの双方向モデルと、幾何学的・回転運動学的な制約を組み合わせています。
実際の試し方はどうすればいいんですか?
プロジェクトページとデモページでコードと動作確認環境が公開されていますので、ぜひご自身で試してみてください。
双方向モデリングの考え方は、他のマルチモーダル生成への応用が期待されています。
性能向上が述べられているが、今後の発展への期待や将来予測は含まれていない

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文