PanoPedの Sextant は、0.035M パラメータで球面全域の歩行者追跡精度を上げた
この記事のポイント
- 平面の矩形では球上の人物を特定できなかった
- 角情報で位置を測る軽量のヘッドを追加した
- 合成データだけで実動画でも精度が上がった
数字で見る
この記事に出てくる数字
| シムフレーム数 | 108,000 |
|---|---|
| 実フレーム数 | 28,002 |
| パラメータ数 | 0.035M |
どこで使えるか
球面追跡で位置を正確に特定したい人向け。追加学習不要で既存モデルに組み込める arXivで論文公開済み コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
Qinfeng Zhu 氏らの研究チームが、全天球カメラで人物を追跡する新しいベンチマークと手法を公開しました。PanoPed と名付けられたこの取り組みでは、108,000 フレームのシミュレーションデータと 28,002 フレームの実写データを扱い、従来の長方形の枠では表せなかった球面全体の位置を正確に測れるようにしました。
全天球カメラで全方位を追跡するんですね。従来の長方形の枠では何が足りなかったんですか?
平面に伸ばした画像の上で長方形を引いても、球面上のどこに人が立っているか、角度の広がりまで特定できない点です。画像から抽出された特徴量の中にはすでに位置のヒントが残っているのに、従来の処理がそれを活かせていませんでした。
ヒントは持っているのに使えていなかったわけですね。
その通りです。そこで六分儀が海上で天体の角度を測って位置を特定した発想を取り入れ、追加の画像解析モジュールなしで取り付けられる Sextant という部品を提案しました。重みはおよそ 0.035M パラメータで軽く、テストでは最強のベースラインである MOTIP のスコアを 47.30 から 49.49 HOTA まで引き上げました。
49.49 HOTA まで上がったんです。シミュレーションだけで訓練したモデルが、実写の動画でも性能が上がったんですか?
実写データへの書き換え訓練なしに、シミュレーションだけで学習した Sextant が実写動画で 0.96 から 1.14 HOTA の向上をもたらしました。HAT に Sextant を組み合わせたシステムは、追加の画像エンコーダーを使わない比較対象の中で最高のスコアを記録しています。
書き換えなしで実写にも対応するんです。研究している人から見ると、この手法のどこが新しいんですか?
球面という三次元の空間を、二次元的な枠組みではなく角度の測定で扱った点です。検出器が既に持っている情報を角度変換で位置情報に変えることで、複雑な動きの中でも追跡の安定性を保っています。
角度の測定で安定性を保つんです。ただ、ドローンや四足ロボットに搭載する場合、カメラの姿勢データが必ず必要になるんですか?
PanoPed-Sの10万8千フレームにはカメラの姿勢データも同期して記録されており、Sextantは追加のエンコーダーなしでこれを使い、最良の結果を出している。
姿勢データがあればより正確に動けるわけですね。
はい。実写データへの書き換え訓練なしで対応できる点は確認できましたが、合成データで訓練したヘッドが実写ビデオでもHATとMOTIPを0.96から1.14HOTA向上させたのは、このデータが有効だったからですね。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。