Physical AI Smart Spacesが公開。280時間超の1,800台カメラの屋内3Dデータセット
この記事のポイント
- 屋内3D知能のベンチマークがなかった
- 280時間超の映像で3D追跡を評価
- HOTAを3Dに拡張。ただし合成データ混入
数字で見る
この記事に出てくる数字
| 収録時間 | 280時間 |
|---|---|
| カメラ数 | 1,800台 |
| 解像度 | 1080p |
どこで使えるか
倉庫2箇所の同期映像で3D追跡を検証したい人向け Hugging Faceで公開済み NVIDIAのデータセット。Sim2Real評価含む
スポンサーリンク
解説
かみくだいて説明します
Yuxing Wang さんたちの研究チームが、屋内のスマートスペース向けに、複数のカメラで 3 次元の物体を認識する大規模な評価データセットを公開しました。280 時間以上の 1080p 映像を、1,800 台のカメラで同時録画したものです。
1,800 台のカメラを一度に使うんですか? 室内の広い空間を撮る必要があるんですか?
一つのカメラだと壁や棚に隠れて見えなくなる場所が出るからです。複数のカメラで同じ空間を撮り合えば、物体がどこにあって、どれくらいの大きさか、3 次元の位置として正確に測れます。研究チームはこれを 3 次元の Bounding Box と呼び、HOTA という評価指標で精度を測っています。
3 次元の Bounding Box というのは、まだイメージが掴めません。もう少しやさしく言うとどうなりますか?
部屋の中に置かれた箱や人の周りに、透明な立体の枠を仮想的に被せるイメージです。枠の大きさや向き、場所を数値で表すことで、機械が「ここに何があるか」を正確に把握できるようにします。
なるほど、立体の枠で位置を測るんですね。HOTA という評価指標も使っているそうですが、従来の方法とどこが違うんですか?
従来の評価は 2 次元の画像上の枠で追跡精度を測っていましたが、HOTA は 3 次元の空間上の位置と立体の枠を使って評価します。これにより、カメラが写さない部分で物体が切れても、実際の動きとしては繋がっているかどうかを正確に見極められます。
2 次元から 3 次元に変わることで、実際の設置現場で使う際の精度の見え方が変わるんですね。では、このデータセットを使って開発を進める技術者側から聞きたいんですが、手元で動かすのに特別な環境は要りますか。
合成データと実写データの両方に対応しています。合成データは Isaac Sim というシミュレーション環境で生成しており、実写データは倉庫 2 か所での実際の撮影データです。AI City Challenge のリーダーボードでも実証されており、評価システムは公式に公開されています。提出形式と reporting が標準化されています。
標準化された評価システムで比較できるんですね。AI City Challenge の結果を見ると、人物だけの追跡から複数の種類の物体を追跡する方向に変わってきているようですが、どこがまだ解けていないんですか。
人物中心の3次元位置追跡から多クラスの3次元ボックス追跡へと手法が進化してきた実証結果を、実環境の制約のもとで公開リーダーボードから示しました。
複雑な環境での精度向上が次の焦点になるんですね。最後に、このデータセットの今後の展開について、何がまだ分からないか教えていただけますか。
現時点では倉庫 2 か所の実写データしか公開されておらず、他の施設タイプへの拡張計画や、リアルタイムでの推論速度に関する詳細な数値については、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。