シーンとポリシーを繋ぐ Agentic RSR、実ロボットへの転移を検証

論文

シーンとポリシーを繋ぐ Agentic RSR、実ロボットへの転移を検証

スポンサーリンク

Agentic RSRが実ロボットでシミュの80%の成功率を達成。コードとシーンデータも公開

この記事のポイント

  • シーン構築とポリシー開発が別扱いだった
  • 動画からメトリクススケールを復元しシミュレーションでポリシー開発
  • シミュレーション成功率の80%を達成。ただし18シーン限定

数字で見る

この記事に出てくる数字

平均深度MAE 0.1057m
平均SSIM 0.6990

どこで使えるか

実ロボットでシミュの成功率を再現したい人向け。コードとシーンデータも公開 コード公開予定(記載なし) 18シーン・2ロボットでの評価

スポンサーリンク

解説

かみくだいて説明します

Yihan Liらの研究チームが、10 月 8 日に公開したフレームワーク「Agentic RSR」です。作業場の動画とタスクの説明、ロボットのモデル情報から、仮想空間の場面を自動で作り直し、そこで開発した操作手順を実際のロボットにそのまま移す仕組みです。
場面を作り直す段階から、実際のロボットが動くところまで、全部一つのタスクで繋げるんですか?
そうです。まず動画から奥行きや大きさを測り、視覚の手がかりを使って仮想空間を何度も修正します。MuJoCo という物理演算のシミュレーション環境、つまり物の当たり判定や重さを正確に再現する仮想空間を使い、ロボットが物を掴んだり押したりする動きが正しいか確認します。
確認ができたら、次にコードを書く段階に入るんですか。
その通りです。コードを書く担当エージェントが、最初は物体の正確な位置や角度が全て分かる privileged な状態、つまりシミュレーション上では何でも分かる状態から始め、だんだんとカメラ画像だけの状態や、シミュレーションの条件をランダムに変えた状態に移行していきます。一度の処理の中で観察と動作を交互に行えるので、実行中に失敗したらやり直したり手順を変えたりできます。
作り上げた手順をどうやって実際のロボットに渡すんですか。
タスクレベルの共通のインターフェースを通じて、手順とこれまでの経験値を共有します。実際のロボットでは新しい画像を読み取り、安全チェックを踏まえながら動かします。18 個の場面と 2 種類のロボットで試したところ、仮想空間の深さ推定の誤差は平均 0.1057 m、色のズレを表す Lab ΔE76 は平均 11.04、白黒画像の類似度を表す grayscale SSIM は平均 0.6990 でした。
色のズレを表す Lab ΔE76 というのは、結局何がズレているんですか。
人間が目で見分ける色の違いを数値にしたものです。写真と実際の物の色の違いが、だいたい 11 程度だったということです。実際のロボットで試したタスクの成功率は、仮想空間での成功率のおよそ 80% です。
実際のロボットでも八成近い成功率を維持できているんですね。開発者から見ると、このフレームワークは既存のやり方と比べてどこが違いますか。
場面作りと手順開発を別々に進める従来の流れを、一つのタスクで一本化しました。手順を実行した結果をすぐにフィードバックとして受け取り、次の動作や修正に反映できる点が大きいです。コードと場面データは公開される予定です。
最後に、実際の現場でこの手法が使えるようになるのは、まだ先のことですか。
コードと再構築したシーンデータは公開予定である。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文