Florence-2 の推論結果を改良して LSVOS チャレンジで 3 位に入った手法

論文

Florence-2 の推論結果を改良して LSVOS チャレンジで 3 位に入った手法

スポンサーリンク

CapMap-MS-TTAが Florence-2 の推論結果を改良し、LSVOS チャレンジで 3 位に入った

この記事のポイント

  • 単一モデルで3タスクを並行処理する条件が厳しかった
  • Florence-2にTTAと語彙拡張で推論精度を上げた
  • ベースラインから向上し3位に入った

数字で見る

この記事に出てくる数字

LSVOS順位 3rd

どこで使えるか

Florence-2の推論結果を改善してLSVOSチャレンジで3位に入りたい人向け Florence-2で公開済み ファインチューニング不要。日本語評価は未掲載

スポンサーリンク

解説

かみくだいて説明します

動画内のオブジェクトを正確に認識しつつ、タグ付けやキャプション生成も同時に行うマルチモーダルモデルって、リソースが厳しい現場ではなかなか現実的じゃないですよね?
確かにその通りです。計算リソースの上限が厳しい中で画像タグ付け、オープンボキャブラリ検出、英語キャプション生成の3つのタスクを1つのモデルで統合するのは容易ではありません。
私、従来は各タスクごとに別モデルを用意して後で結合する手法が多かったと思いますが、それだとオーバーヘッドがどうしても増えますよね?
その通りです。モデルを分割すると推論時のメモリ転送やスケジュール調整のコストが積み重なり、エンドツーエンドの遅延がボトルネックになります。
そこでarXivに公開されたCapMap-MS-TTAという手法が注目されます。第8回LSVOSチャレンジのMUMUトラックで、微調整なしで3位を獲得したソリューションです。
そのアプローチって、具体的にはどういう仕組みなんですか?
コアはFlorence-2のオープン検出モデルをベースにしています。推論時にマルチスケール変換と水平反転のテストタイム拡張を適用し、検出結果にはラベル認識型非最大抑制を掛ける構成です。タグ付け側では拡張キーワード辞書と完全一致マッチング、そして軽量なヒント拡張ステージで品質・シーン・イベントの公式語彙にマッピングします。
TTAで複数のバリエーションを評価してNMSで絞り込むのか。確かに検出精度が安定しそうです!
長さやトークンのサニタイズを行うパススルー構造で、リソース制約の中で処理しています。
微調整なしでここまで改善できた具体的な数値ってどれくらいなんですか?
再現したFlorence-2のベースラインスコア15.16から、16.4815へと引き上げています。公式リーダーボードでは最終的に3位にランクインしました。
単なるベースライン比較だと差が小さく見えますが、他の手法と比べた性能差はどうなっていますか?
ナイーブなGPU実装や微調整を伴う競合モデルと対比すると、推論オーバーヘッドを大幅に削減しながら精度を向上させています。デコード時の余分な計算を排除した分、全体のスループットが改善された形です。
でも、特定のチャレンジのルールに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、リソース上限の厳しい環境でのみ評価されており、他言語タスクへの汎用性については触れられていません。
私、実際の試し方ってどうすればいいんですか?
要旨には、リソース制約下でマルチタスクを統合する手法として、Florence-2の推論パイプラインをTTA設定とNMSパラメータで調整する方法が示されています。
マルチタスク統合はリソース制約下で実現され、Florence-2の推論パイプラインをTTAとNMSで調整する方法が示されています。
私、計算リソースを賢く使う発想がますます重要になりますね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文