人間の手先を使った移動と操作を記録するEgoExplorer、全身と指の動きを推定する話

論文

人間の手先を使った移動と操作を記録するEgoExplorer、全身と指の動きを推定する話

スポンサーリンク

EgoExplorerが、全身と指の動きを推定するパイプラインを発表。体ポイントの誤差が71.9%減少。

この記事のポイント

  • 既存データは協調の全体像を捉えられなかった
  • 装着型システムで視覚・運動・触覚を連続記録した
  • 体ポイント誤差が最強ベースラインより大幅に低減

数字で見る

この記事に出てくる数字

収録時間 100時間
体ポイント誤差低減 71.9%

どこで使えるか

全身と指の動きを推定したい人向け。体ポイント誤差を71.9%低減 GitHubで公開済み 71.9%は最強ベースライン相対評価

スポンサーリンク

解説

かみくだいて説明します

InternRobotics が 2026 年 10 月 14 日に公開した EgoExplorer は、人間が物を運びながら作業する様子を、視覚と動き、触覚の 3 つを同時に記録する観測システムです。装着型のウェアラブル機器を使って、およそ 100 時間にわたる連続録画を構築し、一人称視点の動画に全身の動き、指の細かい関節運動、触覚のデータ、そしてステップごとの説明を合わせ込んでいます。
全身の動きと指の動き、それに触覚まで一度に取れるんですね。専門の言葉で「ロコモマニピュレーション」と呼ばれていますが、これは具体的にどういった動作を指すんですか?
歩くといった移動と、物を掴んだり押したりする操作を、同時にこなす技術です。例えば重い段ボールを両手で抱えて階段を下りながら、途中で棚に置いたりする一連の動き全体を指します。
なるほど、移動と操作を切り離さず記録するわけですね。記録には装着型のセンサーを使うとありましたが、体に付ける機器が少なくて済むのは、どうやって実現しているんですか?
計測の精度を上げるために、Calibrate-Complete-Constrain という 3 段階の処理パイプラインを開発しました。まず再利用可能な校正で参加者の体型とセンサーの取り付け位置を固定し、取り付けのズレと実際の関節の動きを分けます。次に時間的な前提知識を使って見えていない関節の動きを補完し、最後に複数の制約を段階的に掛けて、測定値の一致、時間の連続性、形状の整合性を同時に満たすようにしています。
3 段階の処理パイプラインというのは、まだ仕組みが掴めません。もう少しやさしく言うとどうなりますか?
簡単に言えば、まず装着位置のズレを事前に測ってメモし、次にカメラやセンサーが写っていない体の部分を計算で推測し、最後に全部のデータがバラバラにならないように整える作業です。
ずれた位置をメモして、写っていない部分を推測して、データを揃えるわけですね。精度はどのくらい向上したんですか?
既存の最も強い手法を基準とした比較で、体上の点の位置誤差を 71.9% 削減しました。手の安定性と接触位置の推定でも、同じ条件で評価した結果、向上が確認できています。
71.9% も誤差が減るなら、ロボットの動きを人間のように動かす際の手がかりになりそうです。このデータは実際に開発現場で使える状態になっているんですか?
学習用のデータセットとして公開されており、コードは GitHub で入手できます。人間のようなロボットに動きを移すリターゲティングと、全身制御をシミュレーション上で試す初步的な研究も進めていますが、実機への組み込み時期や具体的な利用条件については、そこはまだ分かっていません。
では、次にこのデータを使って生成する AI のほうについて聞きますが、どのような形で出力されるんですか?
シミュレーション上でのヒューマノイドリターゲティングと全身制御を伴い、動画、動き、触覚のデータを組み合わせて新しい動作パターンを生成したり、特定の条件に合わせて動きを誘導したりする研究を行っています。
最後に、この観測システムがロボット工学の現場に与える影響についてですが、実際に導入するにはどれくらいの準備が必要になるんですか?
身につけて測る装置を使い、疎な体の計測から全身の動きや指の細かな動き、触覚までをまとめて記録する手法が示されており、骨格の基準点のずれは比較対象より7割以上小さくなっています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文