人間の手触りデータで訓練する触覚世界モデル DexTouch-WM、ロボット操作の予測精度を上げる話

論文

人間の手触りデータで訓練する触覚世界モデル DexTouch-WM、ロボット操作の予測精度を上げる話

スポンサーリンク

DexTouch-WMが、人間の触れデータで触覚予測を大幅に改善した

この記事のポイント

  • 実ロボットでの触覚データは高コスト
  • 人間の触覚データでロボットを学習
  • 実ロボット5時間固定で人間100時間

数字で見る

この記事に出てくる数字

人間インタラクション 0~100時間
ロボット教師データ 5時間

どこで使えるか

触覚予測モデルを自前で構築する研究者向け。実ロボットデータの収集コストを下げられる コードの公開は記載なし 論文のみ公開。実機実験付き

スポンサーリンク

解説

かみくだいて説明します

Yan Qinらのチームが、arXivにDexTouch-WMという論文を発表しました。人間の触覚データを使ってロボットの手先の操作を予測する世界模型を学び、5時間のロボット実機データに固定したまま人間の触れ合いを0から100時間まで増やす実験で、視覚や接触の予測精度が大幅に上がりました。
人間の指先で触った情報を、そのままロボットに転写するということですね。作る側からすると、これまでは何が足りなかったんですか。
正確には、実機のロボットで触覚データを量産するのが非常にコストがかかる上、ロボットごとにセンサーの配置が違って共通化できなかった点です。DexTouch-WMは人間とロボットの手には同じ配置の圧電抵抗アレイを取り付け、人間の動きをロボットの動作空間に書き換えることで、同じモデルで両方のデータを扱えるようにしました。
人間の動きをロボットの動きに置き換える、つまりリターゲティングですね。置き換えるのに具体的に何が必要になりますか。
必要なのは、人間とロボットの手先のセンサー配置を同じレイアウトに揃えることと、動作空間を合わせてから動画の専門モデルと触覚の専門モデルを組み合わせることです。解剖学的に意味のある触覚トークンで両者を結び、行動条件を揃えています。
触覚トークンで両方を結ぶ、つまり指先の押され方を共通のコードに直すということですか。そこがまだ掴めません。
例えば、人間の指先で紙を剥がすときの力の強さと方向を、数字の羅列ではなく指の関節ごとの押され方として記録します。ロボットの手にも同じ配置のセンサーを付けるので、人間の記録をロボットの関節ごとのデータに直接当てはめられます。専門用語で解剖学的に意味のある触覚トークンと呼んでいます。
人間の記録をロボットの関節ごとのデータに直接当てはめられる、つまりセンサーの場所が一致していればコード変換だけで済むということですね。ロボットのデータは5時間で固定で、100時間まで増やすと具体的にどれくらい改善するんですか。
人間の触れ合いを100時間まで増やすと、見えていないロボット領域での視覚・形状・接触の予測が明確に改善しました。タスクセットが人間とロボットで重ならない状態でもです。
タスクが重ならない状態でも改善する、つまり人間がやらない作業でも予測が立つということですね。使う側からすると、この模型は実機の方策学習にどう活かせるんですか。
2つの活かし方があります。1つは方策評価の代わりになる仮想環境として使うこと。もう1つは合成軌道を生成して、実機の方策学習に使うことです。人間からのスケーラブルな相互作用が、ロボットの世界模型を学ぶための補完的なデータ軸になります。
仮想環境で試し、合成データの方策学習に使う、つまり人間の触覚をデータ源の1つとして追加するということですね。最後に、実機のセンサー配置を同じにする作業は現時点で簡単に導入できますか。
センサー配置の共有は論文の方法ですが、実機への組み込みや異なる機種への適用については、そこはまだ分かっていません。実機への移植コストや汎用性については、今後の研究進展を待つことになります。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文