OmniAct3Dが、360度画像で3D検出の精度を大幅に向上させた
この記事のポイント
- ERPは物体の位置や特徴を捉えにくい
- 球面視点と視覚行動の連鎖で対応
- SpheriverseとPanoMMOccで向上
数字で見る
この記事に出てくる数字
| VARC mAP保持率 | 95--98% |
|---|
どこで使えるか
360度画像で3D検出を自前で実装したい人向け。球面幾何と視覚行動連鎖で転用可能 GitHubで公開予定 論文公開と同時にコード公開予定
スポンサーリンク
解説
かみくだいて説明します
Runtong Wu さんたちのチームが、arXiv に OmniAct3D というフレームワークを発表しました。360 度の全景画像から、ロボットや自動運転車が周囲の物体を正確に見つけるための技術です。
360 度の全景画像から物体を見つけるんですね。直線的な画像で学習したモデルをそのまま使うのは難しいんですか。
全景画像は球面を平らに伸ばした形になっているので、直線的な画像で学習したモデルをそのまま当てはめると、形や位置がずれてしまいます。まるで世界地図で極付近が極端に伸びてしまうのと同じように、空間の情報が歪んでいる状態です。そこで ERGA-Ray という部品で、球面の曲がった光の経路と、繰り返す空間の構造を改めて計算し直しています。
歪みを計算し直す仕組みを挟むんですね。物体の場所を正確に特定する方法も入っていますか。
入っています。VARC という仕組みが、画像全体から関連する証拠を探して、それを構造化された幾何学的な動作に変換します。これによって、見たい物体が全景のどこにあるかを正確に割り出せます。ただし、画像を細かく見るための計算量には限界があるため、物体の向きを推定する AGHE という部品が、必要な部分だけ解像度を上げて再処理をしています。
構造化された幾何学的な動作に変換するというのは、具体的にどういうイメージですか。
証拠となる画像の部分を、物体の位置や大きさを表す四角い枠のような形に整理する作業です。枠の中心や角度を数値で整理することで、ロボットが次にどこを見ればよいかを計算しやすくなっています。
四角い枠で整理するんですね。実験結果はどうなっていますか。
Spheriverse というデータセットで、これまでの最良の 3D 検出器を 2.96 NDS points 上回り、PanoMMOcc というデータセットでは、適応していないビジョン・ファンデーションモデルの基本モデルを 24.87 mAP points 上回りました。VARC については、同じ設定のときに 95--98% の mAP を維持できると報告されています。
基本モデルを 24.87 mAP points も上回ったんです。これを組み込む側からすると、既存のシステムに置き換えるのは容易ですか。
そこはまだ分かっていません。論文には、公開されたソースコードで検証を進めるとあります。具体的な組み込みの手順や、他のセンサーとの組み合わせについては、まだ詳細が示されていません。
なるほど。では、研究している人から見ると、この技術が特に役立ちはじめる場面はどこですか。
移動型のロボットなど動き回る機器が開発される現場です。狭い視野しかない従来の検出器では死角が生じやすかった部分を、全景画像一つで補完できるようになります。物体の位置と向きを同時に正確に把握できるため、複雑な環境での認識の精度が上がりやすくなると考えられます。
死角を減らしてナビゲーションの精度を上げるんですね。最後に、今後の展開について教えてください。
ソースコードは公開予定とだけ述べられており、他チームへの応用が開けるかどうかや、異なるセンサー配置や実環境での性能については要旨に記載がありません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。