Grounded Action Modelが実機で成功率 64.7%(ID)、49.8%(OOD)を達成
この記事のポイント
- 今の基盤モデルの土台は3D位置を直接は必要としない
- 3Dグラウンディングでアクションモデルを構築
- 実機で見た目が変わっても成功を保ち比較手法を上回る
数字で見る
この記事に出てくる数字
| RoboTwin成功率 | 55.3% |
|---|
どこで使えるか
実機を動かす人向け。見た目が変わっても成功を保ち、計画役と組めば長い手順も進む GitHubで公開済み 条件付き数値は要約不要。実機結果は視覚シフト下
動画を見る
スポンサーリンク
解説
かみくだいて説明します
ロボットが物を動かすとき、どのオブジェクトが重要でどこにあるかを正確に把握する必要がありますよね?
確かにその通りです。現在のロボット基盤モデルは言語や画像から学習しますが、三次元空間での正確な位置情報を直接必要とせず、ロボットの実演データから暗黙的に習得させています。
だとすると、私たちが想定する三次元座標を知らなくても動けるんじゃないんですか?
理論上は可能ですが、環境が少し変わっただけで精度が激減する壁に直面します。明示的な三次元測地情報を欠くため、汎用性が限定的なのが現状です。
そこでarXivで公開されたGrounded Action Models、通称GAMです。言語やポイント、ボックスプロンプトでオブジェクトを指定できる新しいパラダイムです。
そのアプローチって、具体的にはどういう仕組みなんですか?
指定されたプロンプトは共有のオブジェクト中心表現に変換され、まるで複数のセンサー情報を一つの脳みそに集約するように、ターゲットの視覚特徴と測地ジオメトリを捉えます。そこにロボットの状態履歴をマルチストリームトランスフォーマーで混合し、アクションチャンクを予測する仕組みです。
状態履歴と組み合わせて次の動作を予測するんですね!
実際の性能改善効果はどのくらいあるんですか?
RoboTwin 2.0環境で50タスク平均成功率55.3%を達成し、Spatial Forcingの52.0%を明確に上回ります。シーンランダム化下では47.6%対30.4%です。
実機評価でのベースラインとの差はどれくらいですか?
LIBERO-PROで61%対π_{0.5}の53%を記録し、双臂ロボットでは視覚シフト下で20回中17回を達成し、π_{0.5}の20回中4回を明確に凌駕します。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
要旨にはクリーンシーンでの実演データに依存していることは書かれているが、ノイズ環境や未知のジオメトリへの適応課題や三次元測地情報の取得コストについては言及がない
実際に試す方法はありますか?
GitHubで公開コードと紹介ページが入手可能です。シミュレーション環境でプロンプト条件を変えて動作を確認し、段階的に実機適応を試してみてください。
新しいパラダイムとして、三次元測地情報を基盤に据えたロボット基盤モデルを提案しています。
実用化への道が開けるのが楽しみです!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。