視覚と空間知識でナビゲーションするHarnessVLN、学習なしで実環境にも対応

論文

視覚と空間知識でナビゲーションするHarnessVLN、学習なしで実環境にも対応

スポンサーリンク

HarnessVLNが、学習なしで実環境のナビゲーションで既存手法を上回る性能を出した

この記事のポイント

  • 訓練不要で空間情報を統合する手法
  • 行動提案を空間証拠と幾何条件で検証
  • 複数タスクで先行手法を上回る成果

数字で見る

この記事に出てくる数字

R2R成功率 60.8%
HM3D-v2成功率 76.0%
HM3D-OVON成功率 59.3%

どこで使えるか

実環境でのナビゲーションを自前で動かしたい人向け。学習不要で空間情報を統合し、失敗時の回復も可能。 プロジェクトページで公開済み 実機ヒューマノイドでの検証あり

動画を見る

スポンサーリンク

解説

かみくだいて説明します

9月16日にarXivで公開されたHarnessVLNは、人工知能がロボットやドローンを使って空間を動き回る手法で、R2Rで成功率60.8%、RxRで53.9%、HM3D-v2で76.0%、HM3D-OVONで59.3%を記録し、学習を使わない手法のこれまでの最高記録を上回りました。
学習を使わずに、これまでにない成功率を記録したんですね。作る側から見ると、この仕組みを組み込むのは難しいですか、それとも既存のシステムに差し替えるだけで済みますか。
Navigation Executorという部品が差し替え可能になっていて、照合が通った目標地点を動く命令に変換する役割を担っています。同じHarnessのルールで、指示に従って動くタスクと特定の物をさがすタスクの両方に対応できるので、開発者は動きの部分を交換するだけで済みます。
指示に従う時も物をさがす時も、動きの部分だけ取り替えるんですね。研究している人から見ると、空間の証拠と照合するところで、これまで何ができていなかったんですか。
学習を使わない手法はマルチモーダル大規模言語モデル、つまり画像や音声など複数の情報源を扱う大きな言語モデルを使いますが、モデルが提案した動きが実際にその場所に到達できるかどうか、あるいは手順の途中でつまずいたときにどう回復するかを、自分でチェックする仕組みがなかったんです。HarnessVLNではSpatiotemporal Graphと呼ばれるグラフが、動いた履歴と失敗した場所の記録をずっと保持していて、次の判断のときに過去の証拠として使い直せます。
失敗した場所の記録をずっと覚えておいて、次の判断に使うんですね。専門の言葉でSpatiotemporal Graphと言いましたが、もう少しやさしく言うとどうなりますか。
部屋の中で動いた軌跡と、どこでつまずいたかを地図のように残しておく仕組みです。例えばキッチンからリビングへ向かって移動した経路と、そこで家具にぶつかった記録をグラフの点と線で結んでおき、次に同じような経路をたどるときに、ぶつかった地点を避ける指示を出せるようにしています。
動いた経路とつまずいた地点を地図に残しておくんですね。では、手順の途中でつまずいたときの回復はどう行われますか。
失敗した地点の記録をグラフから引き出して、別の経路を提案し直します。同じ場所を何度も通らないように制御するので、同じ失敗を繰り返すことなく、目標地点に到達する道を探索し直せます。
同じ失敗を繰り返さずに別の道を探索し直すんですね。では、実機での検証はどうなっていますか。
人間型ロボットでの実証も行われていて、仮想空間だけでなく実際の環境でも、両方のタスクで動けることが確認されています。
仮想空間だけでなく実際の環境でも動くんですね。最後に、今後の展開として何がまだ分からないかを教えてください。
要旨には、人間型ロボットへの実装が実環境での両タスクへの適用可能性を示しているとあります。今後、実際の環境での適用範囲を広げる方向性が示されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文