言語モデルと行動ポリシーを統合するNavGPT-3、ロボットの制御を効率化する話

論文

言語モデルと行動ポリシーを統合するNavGPT-3、ロボットの制御を効率化する話

スポンサーリンク

NavGPT-3が、人の歩行レベルの誘導を 1 分 22 秒で達成した

この記事のポイント

  • 言語モデルと行動ポリシーの連携が不明確だった
  • 2モデルをOS型ランタイムで統合した
  • R2R-CEでSOTA。ただしRxR-CEは人間同等

数字で見る

この記事に出てくる数字

学習データ数 19.28M

どこで使えるか

長い推論と即時制御を切り替えたい人向け。スレッドの中断でリアルタイム応答を実現 論文公開と同時にリリース予定 モデル・コード・評価記録を全て公開

スポンサーリンク

解説

かみくだいて説明します

Gengze Zhouらの研究チームが、ロボットが人の指示通りに動くための新しいシステム「NavGPT-3」を発表しました。言語モデルの推論能力と実際の動きを制御する行動ポリシーを結びつけ、オペレーティングシステムのようにスレッドを切り替えて制御します。
複数のスレッドで動くと聞きましたが、具体的にどう使い分けるんですか?
推論、動作、監視の3つを独立のスレッドとして走らせ、それぞれが別の情報と権限を持ちます。中央のランタイムがどのスレッドがロボットの動きをコントロールするかを判断し、予期せぬ出来事が起きたときには即座にスレッドを切り替えます。
切り替えの仕組みで予期せぬ出来事への対応が速くなるんですね。では、その動きを制御するモデルの性能はどうなっていますか?
動きを制御するモデル「NavGPT VLA」は19.28M個のデータで訓練され、8BのモデルだけでR2R-CEという評価基準で成功率74.51を記録しています。全体システムにすると成功率81.51まで伸び、RxR-CEでは人の追従者と成功率90.43対90.4、経路精度78.47対77.7でほぼ同等です。
成功率と経路精度が人の追従者とほぼ同じ数字になるというのは、確かに驚くべき結果ですね。
モデルの判断から動作までの最小反応時間は、言語モデルの判断ごとに3-19秒だったものが、0.5-1秒へと短縮されています。この時間短縮は、モデル同士がどう連携しているからですか?
反応時間が3-19秒から0.5-1秒に短縮されるというのは、確かに技術的な飛躍ですね。では、この速度向上はモデル同士がどう連携しているからですか?
言語モデルが経路を指示したあと、行動ポリシーが実際に動かす段階に入ると、推論のループが短くなります。これによりシステム全体の最小反応時間が下がります。画像の情報を扱う際には、codec allocation という仕組みで場面の変化の大きさに応じて計算リソースを配分しています。
codec allocation でリソースを配分するというのは、具体的にどのようになるんですか?
静かな廊下を歩いているときは細かい情報まで処理せず、急なカーブや障害物が出た瞬間だけ高解像度な情報を優先的に処理します。動画で例えるなら、普段は画質を落として滑らかに再生し、重要なシーンだけ一時的に高画質にするような仕組みです。
必要なときだけ力を使う設計なんですね。実際にロボットに組み込む際、この仕組みは既存の制御システムと置き換える話ですか、それとも追加で使う話ですか?
開発チームはモデル、コード、評価記録をすべて公開するとしていますが、既存の制御システムとの組み合わせ方や実際の導入スケジュールについては、まだ具体的な条件が示されていません。そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文