CrowdOccが、混雑室内の3D認識で最高水準の精度を出した
この記事のポイント
- 四足ロボットの混雑室内での単眼SSCは未探索
- CrowdOccデータセットとフレームワークを提示
- シーン非共有テストで最高性能を示した
数字で見る
この記事に出てくる数字
| フレーム数 | 25.1K |
|---|---|
| シーン数 | 11 |
| IoU | 15.80 |
どこで使えるか
四足ロボットの室内ナビゲーションを組む人向け。混雑時の3D認識精度向上に直接寄与する arXivで公開済み RGB-Dデータセットとフレームワークのセット
スポンサーリンク
解説
かみくだいて説明します
Feiyang Chen たちの研究チームが、群れ立つ室内で四足歩行ロボットが周囲を認識する仕組みと、データセット CrowdOcc を公開しました。25.1K 枚の画像から、壁や家具、人の位置を 3 次元で塗り分ける注釈を 11 箇所の室内で付けました。
人が動いて影になる場所でも、形が崩れないようにしたんですか?
そうです。カメラ 1 台の画像から奥行きを推定する時に、表面の傾きも合わせて計算する仕組みを入れました。例えば、壁に背中を預けて立つ人と壁を、奥行きだけでは同じ距離に感じてしまいますが、傾きの情報で手前と奥を区別します。
表面の傾きで手前と奥を分けるんですね。では、人の動きをどう捉えるんですか?
人間の周りの限られた範囲だけ重点的に調べます。全部を一度に処理すると計算が追いつかなくなるので、足元や腕の近くなど、衝突リスクが高い場所だけを抽出して 3 次元で結びつけます。
3 次元で結びつけるって、まだ掴めません。では、精度はどうなったんですか?
未知の室内環境でも通用するテストで、全体としての精度が 15.80 IoU、平均が 11.40 mIoU、人の位置当ては 46.23 Human IoU でした。
人の位置が 4 割強当たったんですね。では、暗い部屋や鏡がある場所ではどうなるんですか?
暗い部屋や鏡での結果はこの要旨からは分からない。
明るさの条件が限られているんですね。では、この仕組みをロボットに組み込む時に、特別なハードは要りますか?
公開されたのはRGB-Dデータセットと単眼での解析の枠組みで、専用機器の要否は書かれていない。
カメラ 1 台で済むなら導入しやすいですね。最後に、次の課題は何ですか?
未知の屋内シーンへの一般化が確認されました。15.80 IoU を達成し、見知らぬ環境でも精度が出ているのが特徴です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。