VLM の視覚認識を高める VIVAS、視覚と言語を統合した事前学習手法

論文

VLM の視覚認識を高める VIVAS、視覚と言語を統合した事前学習手法

スポンサーリンク

VIVASが、視覚と言語を統合した学習で39のマルチモーダル課題でトップクラスの性能を出した

この記事のポイント

  • 視覚の細部認識が不十分だった
  • 視覚語彙で統一トークン空間を構築
  • 7タスク39ベンチで最高性能

数字で見る

この記事に出てくる数字

学習トークン数 12.4T
ベンチマーク数 39

どこで使えるか

視覚の細部認識を改善したい人向け。テキスト偏重の学習バイアスを統一トークン空間で是正する arXivで論文公開済み モデル重みの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

VLMって画像認識は得意なはずなのに、細かい部分まで見抜けないですよね?
確かにその通りです。大枠の認識はできますが、細部を捉える能力には依然として限界があります。
なぜ事前学習済みのモデルなのにそんなことになるんですか?
言語データの比重が大きすぎるため、モデルが視覚の詳細を軽視する方向に最適化されてしまうからです。
この課題を解決するVIVASというフレームワークがarXivで公開されています。テキストと画像のトークンを統一する発想です。
そのアプローチって、具体的にはどういう仕組みなんですか?
視覚情報を構造的・意味的に細かく分割するビジョントークナイザーを導入し、テキスト語彙と統合します。これにより両モダリティが同じ空間で自己回帰的に学習します。
なるほど!同じ空間で学ぶなら情報漏れが起きにくいですね!
VIVASは統一トークン空間を基盤に、視覚と言語の両方に対して統一的な自己回帰的監督を行います。
具体的にどれくらい性能が上がるんですか?
12.4Tトークンでエンドツーエンド学習させ、7つのタスクと39のマルチモーダルベンチマークで最先端を達成しています。
39ものベンチでトップクラスって、結構な規模ですよね?
12.4Tトークンでエンドツーエンドに学習して、7タスク39ベンチでトップクラスを達成しているんです。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。VIVASは統一言語空間パラダイムに基づき、構造粒度とセマンティック情報を備えた視覚教師信号を導入しています。
実際の試し方についての質問です。
GitHubでコードが公開されています。arXivのプレプリントと併せて、まずはリポジトリをクローンして学習スクリプトを実行してみてください。
39のマルチモーダルベンチマークで最先端性能を達成しています。
次世代のマルチモーダルAIの基盤になる可能性を感じますね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文