InfiniHandが、ViDiHand より位置誤差を 21.4% 減らし、HaWoR より 2 倍以上の速度を出した。
この記事のポイント
- 従来手法は誤差が蓄積し重かった
- カメラと手の幾何を統合して推定
- ViDiHandよりPA-pが21.4%減少
数字で見る
この記事に出てくる数字
| 学習データ量 | 5,000時間 |
|---|---|
| 推論速度 | 11.19 FPS |
どこで使えるか
3D手モーションとカメラ軌道を同時に推定したい人向け。エンドツーエンドで精度と速度が向上 論文で公開済み 事前学習データは5,000時間のegocentric動画
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Kerui Renらの研究チームが、自分自身の視点の映像から手の動きを推定する「InfiniHand」を発表しました。ARCTIC PA-pという手の位置のズレを測る指標で従来の手法よりおよそ21.4%改善し、11.19FPSで処理します。
自分自身の視点の映像、つまり自分が持っているカメラやスマホで撮った映像ですね。手とカメラの動きを一度に計算するというのは、従来は別々にやっていた作業を一つにまとめたということですか?
そうです。これまで手のかたちを推定する部分と、カメラがどこを向いているかを追う部分を別々のプログラムで繋いでいました。それを一つのネットワークにまとめ、手を中心にカメラの動きも同時に追う仕組みにしました。
別々のプログラムを繋ぐと、どこに問題が起きるんですか?
誤差が積み上がります。手のかたちを推定した結果に少しズレがあると、次のカメラの動きを追う段階でそのズレがさらに大きくなり、最終的に手が浮いて見えたり、映像の中で手の位置がずれて見えたりします。
なるほど。では、そのズレを防ぐために使われている「永続的な時空間メモリ」というのは、具体的にどのような役割を担っているんですか?
映像を一つずつ見て手のかたちを推定するのではなく、過去に映った手の姿を記憶として残しながら、次の映像と照らし合わせて位置を修正していきます。まるで地図アプリが現在地を何度も補正しながら正確な位置を維持するのと同じ考え方です。
確かに地図アプリの補正に似ていますね。学習にはおよそ5,000時間分の映像データを使ったとありますが、そのデータはどのような場面で撮られたものですか?
複数の公開データセットから集めたものです。手を動かして物を掴んだり、キーボードを打ったりする日常の動作を中心に、およそ5,000時間分を前学習に使いました。
そこがまだ掴めません。およそ5,000時間分のデータで学習したあと、なぜ再度別の段階で学習を続けているんですか?
最初の段階では手元で動く手の姿を安定して推定する力を養い、次の段階でカメラが動いても手の位置がぶれないように拡張しています。一度に両方を学習させると手が揺れてしまうため、段階を分けています。
なるほど。では、実機で動かす場合、処理速度の11.19FPSというのは、どのような環境で測った結果ですか?
公開されている評価環境で測った数値です。従来の手法よりもおよそ2倍速く処理できると報告しています。
確かに2倍速なら実用にも近いですね。最後に、この手法が組み込まれることで、研究者や開発者がこれまで困っていたどの部分が解消されるんですか?
手とカメラの動きを別々に調整する必要がなくなり、パイプラインが簡素化されます。ただし、どのハードウェアで動作するかや、屋外の強い光の下での精度については、そこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video
- 公開日:2026-09-29
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。