動画から動きと力を一緒に推定する PACT、物理法則に基づく学習の話

論文

動画から動きと力を一緒に推定する PACT、物理法則に基づく学習の話

スポンサーリンク

PACTが動画から接触力と動きを同時に推定する手法を公開。

この記事のポイント

  • 姿勢と接触力を別々に推定していた
  • 単眼動画から姿勢・接触・力を同時学習
  • 接触・力推定で最先端。ただし単眼のみ

どこで使えるか

動画から接触力と動きを同時に推定したい人向け。物理ベースの制約で精度向上。 論文公開済み ForceWallベンチマーク付き

スポンサーリンク

解説

かみくだいて説明します

Rikhat Akizhanovらの研究チームが、2026-10-01 に動画から人の姿勢と接触位置、力を同時に推定する PACT というモデルを発表しました。従来の手法は姿勢推定と力の推定を別々に進めていたため段階ごとに誤差が積み重なりますが、PACT はこれを一つのモデルで端到端に処理します。
姿勢と力を一度に計算するんですね。では、力を測るために特別な装置が必要になるんですか?
必要ありません。一般的なカメラで撮影した単眼動画さえあれば、モデルが接触力を推定します。内部では接触力トークンと時間変換器が、動画の映像特徴と空間内の動きを時間軸でつなぐ役割を果たしています。
単眼のカメラ一つでいいんですか。接触力トークンというのは、映像の中から力の情報を抜き出すフィルターのようなものだと理解していいですか。
フィルターというより、動画の各フレームから力を予測するための学習可能なトークンです。映像の特徴量に力を表す情報を付与し、後続の予測ヘッドが姿勢と力を同時に出力できるようにします。
力のデータが足りない場合、どうやって学習させるんですか。
合成動画と実写動画を使って、接触ラベルと物理法則に基づく運動・力の最適化を組み合わせたデータ作成パイプラインを構築しました。物理的に正しい動きと力が一致するように教師信号を用意しています。
物理に基づく監督によって、復元した動きと相互作用の力の整合性を促しており、訓練分布を超えた相互作用にも一般化することが確認されています。
契約や接触力の推定は、学習時の相互作用の範囲を超えても一般化できることが確認されています。
研究している人から見ると、従来の手法と比べて、精度はどれくらい向上したんですか。
具体的な数値については、そこはまだ分かっていません。接触位置と力の推定精度が段階的手法を上回り、動画から直接物理相互作用を復元できる点が新しいです。クライミング用のベンチマーク ForceWall も公開しており、力センサーで計測した正解データとモデルの出力を直接比較できます。
ForceWall というのは、クライミングの動画と壁面の力を計測したデータセットですね。では、このモデルを他のスポーツ動作に応用する場合は、改めて力センサーでデータを揃える必要があるんですか。
力の正解データが少ないから、接触のラベル付けと物理に基づく動きと力の最適化を組み合わせて、合成データと実際の動画から学習用のお手本を作るパイプラインを作ったんだって
力センサー付きのデータが必須になるんですね。最後に、実用化に向けて残されている課題は何かありますか。
力の注釈が少ないという課題に対して、接触のラベル付けと物理に基づく動きと力の最適化を組み合わせたデータ作成の仕組みを作りました

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文