SCOUTが AI City Challenge 2026 で 84.25 の精度を出した
この記事のポイント
- シミュと実写の差があるテキスト検索
- 動画とテキストのエンコーダーを固定
- AI Cityで84.25mAP。ただし95GPU時間
数字で見る
この記事に出てくる数字
| R@1改善 | 2.2点 |
|---|
どこで使えるか
シミュ学習で実写検索。約95GPU時間でmAP@10は84.25。 GitHubで公開済み 95GPU時間で訓練可能
動画を見る
スポンサーリンク
解説
かみくだいて説明します
私の環境でも、合成データから実写ギャラリーへの人物検索は、どうしてもコストが高い微調整済みのクロスエンコーダーに頼りますよね?
はい、従来のクロスエンコーダーはコストがかかりますが、SCOUTの訓練済みコンポーネントは約95 GPU時間で済みます。
私たち学生が扱う小さなGPU環境では、学習済みのエンコーダーを凍結したままでも、同じ精度が期待できるんですか?
多くの現場では、凍結モデルは幾何学的なズレがどうしても残ると考えられてきましたが、実は予測器の設計次第で競合可能な性能が得られる可能性があります。
arXivに公開されたSCOUTという手法が、その問いに答えています。クロスモーダル検索を埋め込み空間内の予測問題として再定義し、V-JEPAとEmbeddingGemmaを凍結したまま、Qwen3.5-0.8Bのデコーダーを初期値とする予測器だけを学習させる発想です。
そのアプローチって、具体的にはどういう仕組みなんですか?
動画のパッチトークンを、双方向のInfoNCE損失でテキスト埋め込み空間へマッピングします。両エンコーダーは推論時も更新されず、予測器のみがグラディエントを更新するため、ベースモデルのエンコーダーは凍結されたままです。
凍結エンコーダーの空間で、埋め込み空間への予測として再定義するんですか?
正確には、予測器の重み初期値がQwen3.5-0.8Bであるため、言語空間の構造を自然に引き継ぎます。推論時は動画エンコーダーとテキストエンコーダーを並列で走らせ、予測器だけが逐次トークンを生成する構成です。
私の疑問ですが、実際の精度向上や学習コストは、どの程度だったんですか?
埋め込み空間の幾何学適合度を学習なしで評価したところ、検索精度とスピアマン相関係数1.0の完全一致を示しました。ExPLoRA適応と学習不要の属性分解リランカーを追加したシステムは、公式順位表のR@1に2.2ポイントを上乗せし、AI City Challenge 2026 Track 4の最終結果で84.25 mAP@10を達成しています。単一凍結モデルの60.63を大きく上回り、学習済みコンポーネントの合計コストは約95 GPU時間です。
16 GPU日かかるCMPのような微調整済みのクロスエンコーダーと比較しても、圧倒的に軽量なんですね?
CMPは16 GPU日の訓練を要する一方、SCOUTの学習済み層は95 GPU時間で収まります。全体のパイプラインとして統合した結果、60.63だった単一モデルから84.25 mAP@10への飛躍を実現しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その指摘は正しいです。合成データから実写データへのギャップ補正は依然として局部と公開データの較正に依存しており、エンコーダーの幾何学が異なるデータセットに直接転用するには追加検証が必要です。
私のバックエンド構築でも、実際の環境で動かす手順は、難しいんですか?
コードと注釈はGitHubで公開されていて、映像側はV-JEPA、文章側はEmbeddingGemmaを固定したまま、Qwen3.5-0.8Bのデコーダから初期化した予測器を学習する構成だそうです。
AI City Challenge 2026の最終リーダーボードで84.25 mAP@10を達成し、凍結モデル単体でも60.63という結果を出しています。
コストを抑えながら実環境に対応できる道が開けたのは、本当に嬉しい進展ですよね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。