テキストから複数の物体の動きを合成する COSMI、テキストと接触精度を上げる話

論文

テキストから複数の物体の動きを合成する COSMI、テキストと接触精度を上げる話

スポンサーリンク

COSMIが、テキストと接触精度で既存手法を上回り、未見の物体でも性能を維持した。

この記事のポイント

  • 多物体の撮影は費用が掛かりデータが少ない
  • 単物体の接触クリップを合成してデータ拡張
  • unseen組み合わせでもベースラインを上回る

数字で見る

この記事に出てくる数字

データ数 222k
収録時間 275時間
最大オブジェクト数 5

どこで使えるか

多物体の接触動作をテキストから生成したい人向け。データ拡張で未見の組み合わせにも対応 プロジェクトページで公開予定 コード・モデル・データセットパイプラインの公開

スポンサーリンク

解説

かみくだいて説明します

Daniel Eskandar, Ilya A. Petrov, Gerard Pons-Moll の3人の研究者が、arXiv に COSMI という新しいデータセットとモデルを発表しました。日常生活の動作は複数の物を同時に扱いますが、これまで撮影は一つずつしか記録できませんでした。彼らは単体の動作記録を組み合わせて、最大で5つの物を扱う 222k本のシーケンス、275時間のデータを構築しました。
複数の物を一度に撮るのは、費用がどれくらいかかるんですか?
複数の物を同時に撮影すると、組み合わせの数が爆発的に増えるため、費用が膨らむからです。そこで研究者たちは、動作は局所的に起こるという観察を活かしました。片手のコップを持つ記録を左右対称に反転させてバランスを整え、体の大きさの違いも吸収して合成しています。
組み合わせても、ちゃんと自然な動きになるんですか?
言語モデルで意味の通じなさそうな組み合わせを除外し、幾何学の手順で物理的にありえない接触を弾く仕組みを入れています。その結果、従来の最大規模のデータセットのおよそ30倍になる 222k本のシーケンスを、実際の撮影時間ではなく既存の記録の組み合わせ数で拡大できました。
指示文から動きを作る仕組みは、普段使っている画像生成と同じような考え方ですか?
確かに近い考え方ですが、画像とは違って体を動かす対象が何個でも増減します。これは diffusion transformer と呼ばれる仕組みで、モデルは体を動かす手が決まるたびに、共有されたスロットに新しい物の名前を割り当てて、相対的な位置を一つずつ描き出します。これはレゴの土台にパーツを一つずつ嵌めていくようなもので、土台となる手の位置が決まれば、後は必要な物をその周りに配置するだけです。
レゴの土台に例えると確かに分かりやすいです。見覚えのない物や組み合わせでも、ちゃんと追従するんですか?
学習時に一度も見ていない物と、初めて見る動作の組み合わせで試す試験では、従来の手法を上回り、特に未知の物での差が最も大きくなりました。試験とは、教科書を閉じて新しい問題でテストするのと同じで、暗記ではなく仕組みで対応できているかを確認するものです。
作っている側からすると、このデータで何か新しい応用は期待できますか?
既存のデータセットを追加すれば、さらに組み合わせを増やせる構造になっています。コードとモデル、データ構築の仕組みはプロジェクトページで公開される予定です。
では、実際に動くまでの見通しはどのくらいですか?
公開の時期については具体的な日付がないため、そこはまだ分かっていません。ただし、コード、モデル、データセットパイプラインはプロジェクトページで公開される予定です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文