動画と音声を組み合わせて接触力を制御する手法、ロボット操作の精度を上げる話

論文

動画と音声を組み合わせて接触力を制御する手法、ロボット操作の精度を上げる話

スポンサーリンク

動画と音声を組み合わせて接触力を制御する手法が、接触作業の成功率を上げた

この記事のポイント

  • 接触課題では力情報が不可欠
  • 音の大きさで力を制御するパイプラインを構築
  • 同系統の手法と接触タスクで比較

どこで使えるか

接触作業で力制御を組みたい人向け。音の大きさで力を制御するパイプラインが要る 論文のプロジェクトサイトで公開済み Franka Pandaロボットでの評価

スポンサーリンク

解説

かみくだいて説明します

Guanhua Jiらの研究チームが、ロボットが物を動かす動きと力を同時に生成する手法をarXivに発表しました。生成された動画と音声を組み合わせることで、接触する瞬間に必要な力の大きさの時間的な変化を導き出します。
動画から動きは分かりますが、力がどうなるかは分からないんですか。
従来は動画から関節の角度や移動経路だけを取り出していましたが、接触面の押す強さの情報は含まれていませんでした。そこで今回、接触音の大きさを使って、力がどのくらい必要かというプロファイルを時間軸に沿って決めています。
音の大きさで力の強さを決めるんですか。
そうです。動画に付け加えた合成音の音量が大きいほど、ロボットが対象を強く押すというルールを設けています。実際にFranka Pandaというロボットアームで、閉ループ型の力制御器を使ってその音量に追従する動きを実証しました。
閉ループ型というのは、音に合わせて常に力を調整する仕組みですか。
そうです。例えば、対象が硬くて予想より反発したとき、ロボットがその反発を即座に感知して押す力を減らすような仕組みです。常に状況を監視して、音で決めた力の大きさに追いつつ、安全に接触を維持します。
では、従来の手法だと接触するだけで失敗するんですか。
動きだけを追う従来の手法では接触を伴うタスクで失敗すると報告されています。今回提示したパイプラインでは、動きと力の両方を同時に扱えるため、複数の接触タスクで成功を収めています。
研究している人から見ると、どこが新しいんですか。
これまで動画生成は関節の角度や移動経路といった運動学の情報しか出力できず、力が伴わないため実機の制御に直結しにくい点に課題がありました。自然言語の指示から動画と音声を同時に生成し、それを力制御とデータ生成の両方に使えるようにした点が新しいとあります。
力制御とデータ生成の両方に使えるんですか。
はい。生成された動きと力のデータをエンジンとして使い、ロボットが常に力を監視しながらタスクを完遂するポリシーの学習にも活用しています。
では、実際に動かすのに何が要りますか。
具体的な必要な機材のリストは報告では記載されておらず、そこはまだ分かっていません。ただし、動画と音声の生成モデルと、力を追跡する制御器があればパイプラインを構成できるとあります。
最後に、公開されているのはどの部分ですか。
公開されているのは、プロジェクトのウェブサイト、動画、データセットです。リンク先は https://dreamingcontactsound.github.io/ にあります。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文