画像から地図を直接作る MapLightning、BEV 格子を使わず 1D トークンで推論を速くする話

論文

画像から地図を直接作る MapLightning、BEV 格子を使わず 1D トークンで推論を速くする話

スポンサーリンク

MapLightningが、BEV 格子を使わず 1D トークンで地図構築を速くした。

この記事のポイント

  • 密集BEVグリッドに依存する従来手法
  • 1Dマップトークンで中間表現を置換
  • 軽量版はnuScenesで+10.1mAP

どこで使えるか

リアルタイム推論で地図構築を速くしたい人向け。メモリ削減とカメラ外乱への頑健性も。 コードの公開は記載なし nuScenes/Argoverse2でSOTA

スポンサーリンク

解説

かみくだいて説明します

Shen Zhengらの研究チームが、自動運転車の高精度な地図をリアルタイムで構築する手法「MapLightning」を発表しました。従来の三次元グリッドの代わりに、一枚の棒状のデータトークンを使うことで、必要な中間データの数を 16.7 倍少なくする仕組みです。
なるほど、三次元グリッドの代わりに棒状のトークンですか。作る側の技術者からすると、このトークンを使うことで、これまでカメラの角度や位置を正確に合わせる作業が不要になるんですか。
正確には、カメラの映し出す角度や距離を計算するパラメータを使わなくなるため、カメラが少しずれても地図が狂わなくなります。棒状のトークン同士で情報をやり取りする仕組みになっているからです。
ずれても狂わないのは安心ですね。一度混ぜてから地図だけ残すというのは、確かに分かりやすい言い方です。
そうです。画像から得た情報と、地図のデータを一箇所に並べて、全部を同時に比較するイメージです。従来の方法では画像と地図を別々に処理していましたが、一度混ぜてから画像のデータは捨てて、地図のデータだけを次の段階に渡します。
一度混ぜてから地図だけ残すんですね。処理が軽くなるので、実際にどれくらいの速度が出るんですか。
秒間 40 フレーム以上の処理速度が出ています。従来の手法と比較すると 1.73 倍速く、メモリ使用量は 53 パーセント減っています。
秒間 40 フレーム以上でメモリも半分以下ですか。研究している人から見ると、この軽量化は地図の正確さには影響が出ないんですか。
影響はありません。テストデータで確認したところ、地図の正確さを示す数値で、従来手法を上回る結果が出ています。特に Argoverse 2 の環境では、正確さを示す数値で 16.2 上がっています。
正確さも上がって速度も出ているのは確かに大きいですね。では、このデータやプログラムは一般の研究機関でも使えるようになるんですか。
はい、コードとモデルを公開する予定です。
最後に、この手法が実際に自動運転車に搭載されるのは、まだ先になるんですか。
処理速度と正確さが両立していて、メモリも減らせて推論も速くなったみたいです。コードとモデルも公開される予定だそうですよ。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文