言語指示でナビして人を追うUniTrackPLA、全方位カメラで統合するロボット制御の話

論文

言語指示でナビして人を追うUniTrackPLA、全方位カメラで統合するロボット制御の話

スポンサーリンク

UniTrackPLAが、言語指示でのナビと人の追跡を全方位カメラで統合した。

この記事のポイント

  • 従来手法は前方観察に依存し別扱い
  • パノラマ言語行動モデルと世界一貫性
  • 追跡SR35.00%、実環境92.08%

どこで使えるか

言語指示で移動し全方位で追跡したい人向け。既存の別扱い問題を統合で解決 論文ページで公開済み 76本追加でEPが42.92%→92.08%

スポンサーリンク

解説

かみくだいて説明します

Pengfei Qiらの研究チームが、arXivにUniTrackPLAというロボット用のモデルを発表しました。360度の全景画像を使って、音声の指示で移動しながら人を追跡するシステムです。既存のロボットは前向きカメラしか使えず、移動と追跡のプログラムが別々でしたが、これを一つにまとめました。
移動と追跡が一つになるんですね。開発する側からすると、全景画像をどう処理しているんですか?
Panoramic-Aware Encoding、略してPAEという仕組みを使っています。360度の画像を、これまで使われていた前方Onlyの画像認識モデルが読める形に書き直しているんです。例えば、丸い部屋の壁に貼られた絵を、一度引き伸ばして長細いキャンバスに並べたと想像してください。そうすれば、今まで正方形の写真しか見てこなかったAIでも、部屋の隅々まで一気に把握できるようになります。
引き伸ばして並べるんですね。前方だけのカメラしかなかった頃よりも、部屋の隅々まで把握しやすくなりますね。
World-Action Consistency、略してWACという機能です。ロボットが次の一歩を踏み出したあと、実際にその場所が見えるかAIが先読みして確認します。確認が取れた進路はそのまま使い、ズレが出たときは即座に新しいルートを組み直します。
先読みでズレを即座に修正するんですか。では、修正に時間がかかりすぎてロボットが止まってしまうことはないんですか?
追跡の成功率は23.50%から35.00%に上がりました。音声指示での移動では、成功率が13.00%から19.75%、移動の滑らかさを表す数値が12.77%から19.29%に改善しています。実機での実験では、42.92%だった正確な追跡成功率が92.08%まで伸びています。
実機で42.92%から92.08%に跳ね上がったんですね。テストに使ったデータ量はどれくらいあるんですか?
OmniTrackNav-Benchというベンチマークで評価しました。シミュレーションの追跡データが5,000本、音声指示移動のルートが10,000本、実際にロボットで走らせたルートが96本です。合計で919,978個の進路指示の正解データが含まれています。
96本の実際の走行ルートで評価しているんですか。実機で動かすデータがこれだけあるのは安心します。
屋内だけでなく屋外でも、Go2-Wという四足ロボットで統合された追跡と移動を確認しています。ただ、屋外でどれくらいの距離や天候まで対応できるかについては、そこはまだ分かっていません。
屋外の条件によるんですね。最後に実用化に向けて残っている課題は何ですか?
Go2-Wロボットでの閉ループ実験により、屋内屋外両方の環境で統一されたパノラマ追跡とナビゲーションが実証されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文