Ego-Exo4Dの映像から全身の動きを復元するEgo-Exo4D-HM、マルチビュー撮影のデータ構築

論文

Ego-Exo4Dの映像から全身の動きを復元するEgo-Exo4D-HM、マルチビュー撮影のデータ構築

スポンサーリンク

Ego-Exo4D-HMが公開。マルチビュー映像から全身の動きを復元する。

この記事のポイント

  • Ego-Exo4Dの密な3D姿勢が不明
  • 4D人体メッシュデータセットを作成
  • コード・データ・ドキュメントを公開

どこで使えるか

マルチビュー映像から全身の動きを復元したい人向け。コードとドキュメントを公開。 GitHub Pagesで公開済み URLからアクセス可能

スポンサーリンク

解説

かみくだいて説明します

自律型ロボットやスキル評価の分野で、人間の動きを正確に追跡したいですよね?
確かにその通りです。従来のデータセットでは3次元姿勢の注釈が疎な点しか提供されておらず、現場では密な動作データが強く求められています。
私の専門分野でも、なぜそこまで密な再構築が難しいんですか?
3Dヒューマンポーズの注釈が疎で、複数視点から密なモーションを再構築するのは容易ではないからです。
そこで今回、Ego-Exo4D-HMという大規模データセットと、それに伴う再構築パイプラインが公開されました。
そのアプローチって、具体的にはどういう仕組みなんですか?
Ego-Exo4Dには疎な三次元の姿勢の注釈しかなくて、複数視点の映像から密な動きを復元するのは簡単じゃない。そこで再構築した四次元の人間の動きと、その仕組みまで公開したんですよ。
視点ごとのズレを計算で補正するんですね!
従来の注釈データと比べた場合、具体的にどこが改善されたんですか?
従来は疎な3D人体ポーズ注釈しかありませんでしたが、マルチビューキャプチャからの密な人体モーション再構築という課題に対して、大規模な4D人体メッシュ再構築データセットとリコンストラクションパイプラインを提示しています。
でも、特定のデータセット向けに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。Ego-Exo4D-HMは、Ego-Exo4Dのマルチビューキャプチャから4Dヒューマンモーション再構築を行う大規模データセットです。
実際の開発現場でどう試せばいいんですか?
コードとデータセットと説明書は、論文に載っている専用ページで公開されているそうです。再構築の手順も一緒に公開されているので、詳しく知りたい人はそのページから辿れますね。
3Dヒューマンポーズ注釈は疎で、密な動作の再構築は容易ではありません。
データだけじゃなく復元の手順まで公開されるんですね

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文