δ-Vision が視覚トークンを削減せず推論効率を上げた。
この記事のポイント
- 視覚トークンの削減で有用な情報が失われる
- 視覚状態をMLPで近似するδ-Visionを提案
- 画像動画ベンチで削減手法より高精度
どこで使えるか
視覚情報を失わずに推論を速くしたい人向け。MLPで視覚状態を近似し、トークンを削減せずに精度を維持する GitHubで公開済み 星2と低リソース
動画を見る
スポンサーリンク
解説
かみくだいて説明します
多モーダル大規模言語モデルで画像や動画の視覚トークンを大量に処理すると、計算コストが膨大になりますよね?
確かに、視覚トークンがモデル全体の計算コストの大きな割合を占めています。
既存の手法はトークンを削減する方向ですが、結局重要な情報が失われていませんか?
その通りです。不要なトークンを永久に破棄する手法では、後のレイヤーで必要になる視覚証拠が欠落し、精度が低下する課題があります。
arXivで公開されたδ-Visionは、視覚トークンを一切削減せずに計算コストを削減する手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
視覚からテキストへの情報伝達経路に低ランク補正を適用し、Transformerによる繰り返し演算の代わりに軽量なMLPで層ごとの視覚状態を予測します。比喩で言えば、毎回白紙から描くのではなく、前のページの下書きを参照して必要な線だけ追記するノートのような仕組みです。
下書きを参照して必要な部分だけ補完するんですね!確かに計算量が大幅に減りそうです。
実際の性能向上はどの程度あるんですか?
視覚トークン削減のベースライン手法と比較すると、同等以下の計算量で精度を向上させています。推論効率も削減手法と競合する水準を維持しつつ、視覚トークンを一切廃棄しない設計です。
削減手法より精度が高い上に、計算コストも抑えられているんですか?
はい。視覚トークンを削減せずに全保持しつつ、画像や動画のベンチマークで削減ベースラインより高精度を達成し、推論効率も競争力のある結果を示しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
実際には、視覚トークンの情報を低次元サブスペースに集中させることで、精度をほとんど失わずにコストを削減できているんですよ。
実際の試し方はどうすればいいんですか?
δ-VisionはビジュアルトークンのTransformerによる逐次更新を、全トークンを保持しつつ層ごとのビジュアルメモリを構築する軽量な低ランクアダプターに置き換えます。
画像と動画のベンチマークでは、視覚トークン削減のベースラインを上回る精度を、同等かそれ以下の計算量で達成しています。
視覚トークンを一切捨てずに、推論効率も競争力のあるレベルで実現しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。