TouchScaleが公開。500時間の視覚・触覚データでロボットの成功率が22.5%から57.5%に向上。
この記事のポイント
- 触覚データは規模が小さく、効果の分離が困難
- 単一装置で500時間の触覚付き動画データを作成
- ゼロショット接触IoUが0.134から0.383に向上
数字で見る
この記事に出てくる数字
| データ量 | 500時間 |
|---|
どこで使えるか
視覚と触覚のデータを同時に扱える環境を構築したい人向け。単一デバイスで500時間分のデータを取得可能 公開予定(全データとモデルを含む) センサーと収集プロトコルは固定
スポンサーリンク
解説
かみくだいて説明します
2026年10月8日に、Dayou Liらの研究チームが触覚と映像を同時に記録したデータセット「TouchScale」を公開しました。およそ500時間分の映像と、両手の触覚センサーのデータを、2千種類ほどのタスクで揃えています。
500時間というのは、かなり大きな規模なんですね。触覚のデータって、普段の動画とどう違うんですか?
動画だと手が物を押したときの圧力や、どこに接触したかが記録されません。TouchScaleでは、手首のカメラと両手の触覚センサーを一つに統一して録画しているので、映像のフレームと触覚のデータを、本とページの対応表のように時間軸でぴったり合わせられています。
0.134から0.383というのは、3倍近く改善したことになりますね。データ量を増やすほど、予測精度もロボットの成功率も上がるんですね。
未見の触覚センサーに対して、接触位置を予測する精度が、0.134から0.383に上がりました。ロボットに実地で動かすテストでは、4つの作業の成功率が22.5パーセントから57.5パーセントに伸びています。データ量を増やすほど、予測精度もロボットの成功率も右肩上がりの傾向が見えています。
映像と触覚の記録を一式公開するんですね。では、触覚と映像を一緒に使う学習の仕組みについて、もう少し詳しく聞かせてください。
従来の手法では、触覚データと映像データを別々に集めていたため、データ量を増やしても触覚部分だけが足らない状態が続いていました。TouchScaleはセンサーと収集方法を固定しているので、データ量を増やしたときに触覚側の品質がぶれることなく、純粋に規模を大きくした効果だけを見ることができます。
品質がぶれないように揃えているんですね。研究している人から見ると、どこが最も新しいポイントになるんですか?
触覚データ単体の規模が、それまでの最大規模を大きく上回ったことです。これまでは触覚と映像を同時に記録したデータが少なかったため、触覚付きのモデルを本格的に訓練する環境が整いませんでした。TouchScaleが公開されることで、触覚と映像を同時に使う学習が、データ量を保証された状態で進められるようになります。
データ量を保証された状態で学習が進められるんですね。最後に、今後どのような検証が進む予定ですか?
触覚センサーの種類が変わっても、接触位置の予測ができるかという検証が主になります。まだ分かっていないのは、異なる形状の物体や、滑りやすい素材への対応度です。そこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。