5本の動画からロボットにタスクを教える Steertuning、実環境での汎用性を高める話

論文

5本の動画からロボットにタスクを教える Steertuning、実環境での汎用性を高める話

スポンサーリンク

Steertuningが、5 本の動画で 12 環境・12 タスクの成功率 71% を出した

この記事のポイント

  • ロボット学習には大量のデータが必要だった
  • 5人の動画で2分で微調整する手法を開発
  • 12環境12課題で成功率71%を達成

どこで使えるか

少ない動画でロボット動作を習得したい人向け。学習時間が2分で済み、環境やタスクの変更にも対応可能。

スポンサーリンク

解説

かみくだいて説明します

Billy Yanらの研究チームが2026年10月14日にarXivに論文を公開しました。ロボットが人の動画5本だけで新しい作業を覚えるシステムSteertuningです。新しい環境への導入から実際の稼働までおよそ5分以内で完了します。
人の動画5本だけで新しい作業を覚えるんですか。技術者から見ると、人の手元とロボットの構造は全然違うのに、どうやって同じ動きに置き換えているんですか?
2つの段階で対応しています。まず100時間の人の行動データを基に、4億パラメータのモデルを事前学習します。この段階で背景の違いや物の配置の違いに強くなります。次に新しい作業の動画5本を与えると、2分間で2000回の更新をかけて微調整します。
100時間分のデータで背景の違いに対応するんですね。逆向きサンプリングで一番近い動画を選んで修正する仕組みなんですね。
画像をノイズから作る過程を逆再生するイメージです。モデルが今いる環境に一番近い動画を選び、その動画の動きに合わせてロボットの操作を修正していきます。これによって新しい台所や実験室など12の場所で12種類の作業を行い、成功率およそ71%を達成しています。
一番近い動画を自動的に選んで修正するんですね。確かに! 研究している人から見ると、これまで何ができていなかったんですか?
従来はロボット自身が何百本も動作を繰り返す大量のデータが必要でした。今回の手法では人の動画を見るだけで済むため、データ収集の負担が大幅に減ります。モデルの重みやコード、動画データはウェブサイトから公開されます。
従来の何百倍ものデータが不要になるんですね。実際にこのシステムを自社のロボットに組み込む場合、特別なハードウェアや環境は必要になりますか?
専用のロボットアームや特殊なカメラは不要です。データ処理の段階で人の手元とロボットの手の構造の違いを吸収するパイプラインを組み込んでいます。モデルの重みやコード、動画データはウェブサイトから公開されます。
特別な機材なしにソフトウェアだけで対応できるんですね。では、研究している人から見ると、12の環境で成功率71%という数字は、まだ改善の余地があるという解釈でよろしいですか?
実験室から新しい家庭の台所まで十二の環境で試し、七十一パーセントの成功率でした。データや重みや動画は近く公開する予定です。
最後に、家庭の台所など実際の現場での稼働はまだ実験段階という解釈でよろしいですか?
実験室から家庭の台所まで実際の新環境で試した結果です。5人の人間のデモンストレーションから微調整し、最も観測が近いデモンストレーションを使って成功率を上げています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文