一人の両手を一度に予測する手法、マルチヒューマンシーンでの所有関係の曖昧さを解消する話

論文

一人の両手を一度に予測する手法、マルチヒューマンシーンでの所有関係の曖昧さを解消する話

スポンサーリンク

Single-Query Person-Centric Bimanual Hand-Object Interaction Detection が、1クエリで1人の両手と対象を同時に予測する手法を発表した。

この記事のポイント

  • 従来は手ごとに独立に検出していた
  • 1クエリで人物全体を構造的に出力する
  • COCOベースのデータセットで評価した

どこで使えるか

一人の両手と操作対象を同時に把握したい人向け。人物単位で構造化出力する 論文発表のみでコード公開は記載なし COCOベースのデータセットを構築済み

スポンサーリンク

解説

かみくだいて説明します

Jonghyun Kim さんらの研究チームが、arXiv に論文を発表しました。複数の人が写る場面でも、両手が誰のものか、何に触れているかを、人物ごとに一つの問い合わせで正確に割り出す手法を開発しました。
なるほど。これまで別のやり方では、手が誰のものか区別がつかない場面があったんですか。
そうです。従来は両手を独立した個体として扱っていたため、複数の人が写ると所有関係が曖昧になる問題がありました。今回は人物を単位にして、人の四角い枠、体の姿勢、両手の位置と状態、触れる対象を、一つの問い合わせでまとめて出力する形に切り替えました。
片方の問い合わせで人の全身と両手の情報が揃うわけですね。それを可能にする仕組みは部位対応型の変形可能アテンションですね。
部位対応型の変形可能アテンションと呼ぶ仕組みです。人の胴体、手、姿勢それぞれに専用の参照領域を設け、問い合わせがその領域に集中して情報を集めるように設計しています。例えば一人前の地図に、建物、道路、目的地のマークを別々のレイヤーで重ねて、一度に位置を特定するようなイメージです。
手の触れる相手を選ぶ部分は、別の物体検出器を別に動かす必要はないんですか。
不要です。手の問い合わせが、人物の問い合わせ群と学習済みのオフトークンの中から、触れる相手を選び出します。対象の四角い枠とクラスを、物体を別に回すことなく直接復元する仕組みになっています。
物体を別途推定する工程がなくなるわけですね。評価はどのような指標で行ったんですか。
COCO を基盤にしたデータセットを用意し、手の状態と、手と対象の組み合わせ全体を評価する構造化指標を定義しました。トランスフォーマーベースの検出器で実験した結果、人物単位の両手交互動作の解析精度が向上し、検出、姿勢推定、手の推論を一つの枠組みで賄えることを確認しました。
人物単位で統一する枠組みが提示されたわけですね。研究している人から見ると、どこが新しいんですか。
複数の人が写る場面での両手動作解析を、人物単位で統一する枠組みを提示した点に新規性があります。コードの公開については、現時点で材料に記述がありません。そこはまだ分かっていません。
最後に、実用化に向けた課題はありますか。
実用化の具体的な見通しや、別のデータセットでの検証結果については、現時点で材料に記述がありません。今後の展開を見守ることになります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文