サッカー映像から選手の3D姿勢を推定するField Converter、幾何初期化と時間的残差で精度を上げる話

論文

サッカー映像から選手の3D姿勢を推定するField Converter、幾何初期化と時間的残差で精度を上げる話

スポンサーリンク

Field Converterが、サッカー映像から選手の 3D 姿勢を 13.2cm の精度で推定できるようになった

この記事のポイント

  • カメラとピッチ幾何で初期化
  • フレームごとのMLPとTCNで修正
  • 空中動作が主な限界

数字で見る

この記事に出てくる数字

MPJPE 13.2cm

どこで使えるか

サッカー映像で選手の3D姿勢を推定したい人向け。ピッチ幾何で初期化し、時系列で修正する手法。 arxivで公開済み サッカー放送のカメラ・ピッチ幾何情報が必要

スポンサーリンク

解説

かみくだいて説明します

Simon Khanらが2026-09-10に新しい手法を発表しました。サッカーの放送映像からピッチ上の3次元の選手の姿勢を推定する「Field Converter」です。カメラとピッチの幾何学で地面との交点を求め、残差を補正する仕組みで、根の誤差を49cmから10cmに縮めました。
地面との交点を求めるのは、選手の足元をカメラの視線でなぞる感じですか。
そうです。カメラの位置とピッチの形から、映像の中の選手の足がピッチのどこに落ちるかを計算します。そこから残差、つまりズレを画像や姿勢の情報で補正するわけです。
残差でズレを補正するんですね。
フレームごとのMLPでは14cm、TCNやTransformerでは10cmから11cmでした。時間情報を積み重ねる方が、単発の画像だけで推定するより精度が上がります。世界空間での誤差は13.2cmでした。
MLPやTCNは、動画の編集ソフトで使うフィルターのようなものですか。
そうです。MLPは1コマずつ処理する簡易な計算で、TCNやTransformerは前後のフレームをまとめて見る計算です。まとめて見る方が動きの予測が効くため、誤差が小さくなります。
計算コストの比較までは載っていないんですか。
材料にはコストの比較までは載っていません。そこはまだ分かっていません。精度だけを比べると、時間軸のモデルを使った方が安定して低い誤差を出しています。
ジャンプしている時は初期値が狂うんですね。
失敗分析で、空中運動が主な限界とされています。地面との交点を初期値にしているため、浮いている間は初期値自体がずれてしまい、残差補正だけでは追いつかない状況が生まれます。
研究している人から見ると、どこがまだ解けていないんですか。
空中の姿勢をどう初期値に入れるかが課題です。カメラとピッチの幾何学だけに頼らず、浮遊中の姿勢も安定して推定できる仕組みをどう組み込むかが次の段階になります。
最後に、次はどう進みますか。
失敗分析では、空中運動が地面ベースの幾何学的初期化の主な限界として特定されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文