MIRAGEが、LiDAR-IMUの正確な軌道で3D再構築のスケールを補正。COLMAPより高精度なメトリック姿勢推定を実現。
この記事のポイント
- 視覚のみでは計測スケールと軌道が不安定
- LiDAR-IMU運動で視覚幾何に制約を付与
- COLMAPより正確。ただし室内ベンチ新設
数字で見る
この記事に出てくる数字
| 6DoF | 6-DoF |
|---|
どこで使えるか
論文公開済み ベンチマークデータセットの新規構築を含む
スポンサーリンク
解説
かみくだいて説明します
Xinzhe Wangらの研究チームが、10月9日に論文を発表しました。画像だけから3次元の形を復元する技術に、レーザー測距装置と慣性計測ユニットのデータを組み合わせたMIRAGEという手法を開発し、正確な距離尺度と軌跡の推定を実現しました。
画像だけの推定に、レーザー測距装置の正確な動きのデータを基準に据えるんですね。
はい。従来は画像だけの推定だと距離の基準がぶれやすく、長い時間かけて撮影すると軌道がずれていく問題がありましたが、レーザー測距装置で得た正確な動きのデータを基準に据えることで、そのズレを補正しながら高精度な3次元モデルを構築しています。
研究している立場から見ると、これまでの手法と比べてどこが新しいんですか?
画像から推定した形状と、レーザー測距装置が計測した実際の距離を照合して、信頼できるところだけ補正をかける点です。評価データセットであるOxford SpiresやM2DGR、INSで試したところ、広く使われているCOLMAPという手法を上回る精度を記録しました。
照合して信頼できる部分だけ補正、つまり画像とレーザーのデータが一致したところだけ修正をかけるんですね。そこがまだ掴めません。
分かりやすく言うと、写真とレーザーのデータが同じ場所を指しているときだけ、ズレを直す信号を出す仕組みです。写真だけだと遠近感が狂いやすいですが、レーザーで実測した距離が裏付けるときだけ補正を効かせることで、モデルの形を崩さずに正確な大きさに収めています。
作る側の技術者からすると、手元で動かすのに何が要りますか。
LiDAR と慣性計測ユニットによる動きの推定に加え、画像から高精度な再構成を行う構成であり、今回構築したマルチモーダルなデータ収集の仕組みと基準となる6自由度の軌跡データを用いて、長時間かつ大規模な屋内再構成の評価基盤として使えます。
画像とレーザー測距装置、それに慣性計測ユニットの3つを同時に備えた環境が条件なんですね。
はい。ただ、大規模な屋内空間で長い時間撮影する単眼カメラだけのベンチマークが不足していたため、今回マルチモーダルなデータ収集プラットフォームを構築し、新しいベンチマークの6自由度の基準軌跡をMIRAGEで提供しています。
長い屋内の撮影データに対する基準軌跡を、自ら作って公開したんですね。
その通りで、最近の単眼カメラ向け大規模復元手法をこのデータセットで系統立てて評価し、長期の屋内シーンでの性能差を明確にしました。
では、最後に今後の見通しを教えてください。
Oxford SpiresやM2DGRでの実験で、計算コストの高いCOLMAPを凌駕する精度を示しました。さらに、大規模室内シーンの長期ホライズン評価を可能にする新しいビジョンのみベンチマークを構築しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。