物体の履歴で推論する POSReasoner、長時間の遮蔽下で追跡を安定させる手法

論文

物体の履歴で推論する POSReasoner、長時間の遮蔽下で追跡を安定させる手法

スポンサーリンク

POSReasonerが、物体の履歴を使って追跡の安定性を向上させた

この記事のポイント

  • 遮蔽で履歴が上書きされる
  • 状態遷移を推論・検証する
  • 長期的VOSで改善

どこで使えるか

遮蔽や再出現で追跡が乱れるVOSパイプラインを組む人向け。既存モデルに挿せる 論文公開済み 既存VOS/VISモデルにプラグイン可能

スポンサーリンク

解説

かみくだいて説明します

Yongxue Xuらの研究チームが2026年9月29日、動画で物体を追跡する仕組みPOSReasonerをarXivに公開しました。長時間の影や似た物体のすれ違いで、追跡番号がずれる問題を直すのが目的です。
追跡番号がずれるというのは、同じ色の車が並んでいる途中で番号が入れ替わってしまうということなんですね。
そうです。信頼できない更新が起きると、それまでの正しい履歴が上書きされてしまいます。POSReasonerでは、物体ごとにpersistentな状態として、identity、確信度、absence historyを記録します。
persistentな状態、つまりずっと残す状態ですね。それをどうやって更新するかどうか判断するんですか。
状態と新しい観測情報を結びつけるグラフを作り、まず仮の関連付けを提案します。その後、物体の履歴や次に現れる予測、他の物体との競合を調べて、確からしいか検証します。この提案と検証のやりとりは、掲示板に仮のメモを貼って、周りの状況と照らし合わせてから正式に決定するイメージです。検証を通った遷移だけが状態に書き込まれ、学習されたゲートがメモリに記録する証拠の量を制御します。
掲示板にメモを貼って照合するイメージですね。検証を通ったものだけを更新するというのは、現場で使われている追跡モデルにそのまま組み込める話ですか。
はい。基本モデルを凍結したまま使えるため、標準的な動画注釈だけで学習し、さまざまなビデオオブジェクトセグメンテーションとビデオインスタンスセグメンテーションのアーキテクチャにプラグインで組み込めます。
組み込みやすさは確かに分かりますが、実際に使う側からすると精度の向上幅が気になりますね。
長期のビデオオブジェクトセグメンテーションとビデオインスタンスセグメンテーションのベンチマークで、強いベースラインを上回る結果を出しています。特に影になった後の再出現や、物体同士の干渉が起きる場面で最大の向上が見られました。
影になった後の再出現で一番強くなるんですね。では、他の場面ではどうですか。
全体的に安定した改善が見られますが、複雑な環境下での詳細な数値や、実機での動作速度については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文