動画内の数を数えるモデル StaMina、状態を維持して数を数える話

論文

動画内の数を数えるモデル StaMina、状態を維持して数を数える話

スポンサーリンク

StaMinaが、8BモデルでPrefix条件10.9ポイント、Stream条件3.2ポイント向上。

この記事のポイント

  • 動画で新しい物体やイベントを区別できなかった
  • 状態条件付き更新でカウント状態を学習させた
  • 8Bモデルが44.9/38.2。ただしCounting-SFTより

数字で見る

この記事に出てくる数字

学習データ数 39.8K
モデル規模 4B/8B
精度向上 10.9/3.2

どこで使えるか

動画内で物体の追加や完了を区別し、正確にカウントしたい人向け。状態維持の学習で精度向上が見込める 論文公開済み 8Bモデルは単一GPUでは不可

スポンサーリンク

解説

かみくだいて説明します

Pengyiang Liuらの研究チームが、2026-09-29に動画の中で物がいくつあるかを数え続ける技術「StaMina」を発表しました。SVCBenchという評価基準で試した結果、4Bと8Bという2つのモデルで、41.9対36.4と44.9対38.2のGaussian Precision Accuracyを記録しています。
動画の中で物を数え続ける、というのは具体的にはどういうことなんですか?
普通の数え方は動画の最後で合計を出すのですが、StaMinaはフレームが進むたびに「まだ増えたのか、それとも同じ物が見えただけか」を判断して、頭の中の数を更新し続けます。
前のフレームの情報がそのまま引き継がれるということですね。では、研究している人から見ると、従来とどこが新しいんですか。
数を基準に経路を制限する、ということは、正しい数だけを進めるルートだけを残すということですね。では、この手法を実際に組み込む技術者から見ると、手元で動かすのに何が要りますか。
数を基準に経路を制限する、ということは、正しい数だけを進めるルートだけを残すということですね。では、この手法を実際に組み込む技術者から見ると、手元で動かすのに何が要りますか。
39.8Kのデータと前処理の工程で、空間クエリとイベント注釈を軌跡に整理したパイプラインが必要です。
39.8Kのデータは空間クエリで、前処理で軌跡に整理します。
8Bモデルの場合、従来のCounting-SFTという手法を同じ条件で試したとき、10.9ポイントと3.2ポイント上回りました。
10.9ポイントと3.2ポイントの差は確かに大きいですね。では、AIを使う側から見ると、いま困っていることのどれが減るんですか。
動画の途中から切り替えた場合でも、途中までの数を正しく引き継げるため、観客が途中で入っても正確に数え続けられます。また、数を条件に次のタスクを選ぶ判断もできるようになります。
最後に、途中から入っても正確に数え続けられ、次のタスクの選別もできるようになるんですね。実用化されるまでの見通しはどのようになっていますか。
動画の一部が重なる場合や学習に使っていないグループでの数え上げ適応、それにオンライン動画のベンチマークやカウント条件付きの判断まで評価して、オンラインでの理解やタスクの適格性を確認しているんです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文