Cosmos 3 を手動の推論基盤にする RLHND、手の動きと触覚を同時に推定する話

論文

Cosmos 3 を手動の推論基盤にする RLHND、手の動きと触覚を同時に推定する話

スポンサーリンク

RLHNDが手の動きと触覚を同時に推定する手法として最先端の性能を出した。

この記事のポイント

  • 従来は物理的整合性に欠けた推定
  • Cosmos 3 をバックボーンに接触も推定
  • ベンチで SOTA。実機でも有用

どこで使えるか

物理的に正確な手の動きと触覚が欲しい人向け。実機検証済みでロボット学習に直接使える コードはGitHubで公開済み Cosmos 3バックボーンを使用

スポンサーリンク

解説

かみくだいて説明します

RLHNDという手の追跡モデルが、2026-10-07に発表されました。既存の手法は切り取った映像から手の形を推定していたため物理的に不自然になりがちでしたが、RLHNDは単眼の映像から手の関節角度と触覚情報を同時に推定します。
触覚の情報まで出せるんですか? 密度の高い出力って、具体的にどうなるんですか?
違いは物理的な制約を学習している点です。映像から手の動きの癖を事前に覚えておくことで、関節が体の構造に合わない角度に曲がるのを防ぎます。触覚の方は手の表面全体に、どこがどのくらい押されているかを細かく出力します。指でボタンを押したとき、押した位置と強さを地図のように描くイメージです。
なるほど、地図のように描くんですね。では、実際にロボットに組み込む場合、計算量は増えるんですか。
計算量については、そこはまだ分かっていません。ただ、手の形状を固定するパラメータを一度決めるだけで済むため、動画全体を通して手の形がぶれるのを防ぐ仕組みになっています。同じ人物が撮影した動画同士でも、手の大きさや形を揃えられる点も特徴です。
手の形が揃うのは助かります。では、触覚のデータはそのままロボットに渡せるんですか。
触覚の学習は手の動きを推定する部分とは別の専門のネットワークで行い、動きの推定を固定したまま触覚だけ学習させる構造です。リターゲティング結果や実世界のロボット実験を通じて、ロボットの学習にこの手法が役立つことを示したとしています。
別のネットワークで独立して学習するんですか。では、研究している人から見ると、どこがまだ解けていないんですか。
接触位置と力の推定はベンチマークでSOTAです。ただ、複数カメラや手袋を使った場合の推定精度については、まだ解明されていません。
複数のカメラや手袋のテストはしていないんですね。最後に、コードは公開されるんですか。
コードは論文の紹介ページから公開されます。実機でのロボット実験も実施しており、その有用性も示されています。
では、実機での検証はこれから増えるんですか。
実機での検証結果として、把持作業へのリターゲティングと実ロボット実験を行い、触覚推定でも最先端性能を達成しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文