VersaCamVLAがカメラの数や角度が変わってもロボット操作を安定してこなす手法を発表した
この記事のポイント
- VLAはカメラ配置に弱かった
- 任意カメラを固定サイズで学習
- RoboTwinで先行手法を上回る
どこで使えるか
既存VLAに視覚条件を追加したい人向け。3Dセンシングや新視点レンダリング不要 arXivで公開済み 実ロボットでの検証あり
スポンサーリンク
解説
かみくだいて説明します
Boyao Han さんたちの研究チームが、ロボットの手先を動かすための VersaCamVLA という枠組みを発表しました。これまでカメラの数を固定して訓練していた視覚・言語・行動モデルを、カメラの配置や台数が変わっても使えるように改良したものです。
カメラの配置や本数が変わっても、同じモデルで対応できるんですね。
そうです。従来のモデルは訓練時のカメラ配置に強く依存していたため、本数が増えたり角度が変わったりしただけで性能が落ちる問題がありました。 VersaCamVLA はカメラの集合を表す部分と、実際に動かす命令を学習する部分を分け、任意のカメラセットを一定のサイズにまとめ直す仕組みになっています。
一定のサイズにまとめ直す、というのが少し気になります。どうやってやるんですか?
複数のカメラから見える画像を、あらかじめ決まった位置からどう見えるかを予測する信号でつなぎ合わせています。つまり、手元にあるカメラがどれでも、まるで決まった場所から写した写真のように処理できるということです。
なるほど、決まった場所の画像に揃えるんですね。訓練データを集める段階では、どうやっていろいろな角度の写真を用意するんですか?
腕についている小型カメラの自然な動きを利用して、角度のばらつきを無料で得ています。これを Wrist-Augmented Pose Sampling と呼んでいます。実際の作業では、既存の視覚・言語・行動モデルに、このまとめた情報を追加の視覚条件として差し込むだけでよく、専用の三次元センサーや新しい角度の画像を作る工程は要りません。
専用の機器が要らないのは助かります。実際にどれくらい性能が違うんですか?
RoboTwin や LIBERO という実験環境、そして実機のロボットで試した結果、従来の手法や複数のカメラをそのまま使った比較対象を常に上回る安定した性能を出しています。カメラの本数が変わっても、訓練時に一度も見ていない角度のカメラ配置でも、性能が大きく崩れることはありませんでした。
確かに、角度が変わっても壊れにくいのは大きいですね。この仕組みを現場のロボットに組み込むには、まだどの辺りが解けていないんですか?
実機でのテストでも安定した結果が出ていますが、カメラの数や角度が変わっても、しっかり性能を保っているのがポイントです。
具体的な数値はこれからですね。では、今後の展開で特に注目する点はどこになりますか?
VersaCamVLAは、任意のカメラ配置に対応し、実ロボットでも堅牢な性能を実現しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。