視覚言語モデルの推論能力を回復させる手法、ベースの言語モデルからベクトルを転送する話

論文

視覚言語モデルの推論能力を回復させる手法、ベースの言語モデルからベクトルを転送する話

スポンサーリンク

LIFTがベース言語モデルのベクトルで推論能力を回復。6ベンチでベース由来が有効。

この記事のポイント

  • VLMは言語推論が劣化
  • LLM由来の推論ベクトルを注入
  • LLM由来が有効。ただし部分的

数字で見る

この記事に出てくる数字

ベンチマーク数 6
評価VLM数 2

どこで使えるか

VLMの推論をLLM由来ベクトルで回復させたい人向け。学習不要で言語層に注入 コードは「近日公開」で未入手 公開時期の記載なし。論文のみ現段階で利用可能

スポンサーリンク

解説

かみくだいて説明します

多モーダルモデルって、画像認識は得意になるのに、実は言語推論能力が落ちてるんですよね?
確かにその通りです。マルチモーダルスケーリングを進めるほど、ベースとなる言語モデルの推論機能が埋もれていく現象は確認されています。
じゃあ、落ちた能力を元に戻すのは難しいんですか?
単純なファインチューニングでは限界があります。アライメント済みのモデルだけでは内部の推論経路にアクセスしづらく、本来持っている能力を呼び出せないのが課題です。
そこでarXivに公開されたLIFTという手法が注目されています。バックボーンを再学習せずに、ベースモデルの推論能力を直接移植する軽量なベクトル介入法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
答えトークンの隠れ状態差分を計算し、推論パスと解答パスのベクトル差を抽出します。これをターゲットモデルの言語側活性化に注入する仕組みです。
なるほど!モデル全体を触らずに、特定のベクトルだけ差し替えるんですね!
その通りです。バックボーンは凍結したまま学習可能な適応層だけで調整するため、再学習なしで言語側の推論能力を転移できます。
実際の性能向上はどういった数値で確認されたんですか?
2つのVLMで6つの推論ベンチマークを評価した結果、ベースLLM由来のベクトルがモデル由来のベクトルを一貫して上回りました。
ベースモデルの方が移植源として優れているってことですか?
はい。部分的ではありますが必要以上のオーバーヘッドなく推論能力を回復させ、最終的な正解だけでなく中間推論過程そのものに影響を与えることを確認しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにその通りです。移植精度はベースモデルの品質に依存しますし、ベクトル注入が逆効果になるケースも存在するため、万能な解決策とは言えません。
実際の試し方についての質問なんですが、どうやって試せばいいんですか?
コード公開は近いですが、具体的な手順は要旨にないですね。要旨にあるのは、ベースモデルから推論ベクトルを抽出してVLMの言語側活性化に注入する手法が提案されたことです。
推論ベクトルが最終的な答えだけでなく中間的な推論行動に影響を与えることが、さらなる分析で示されています。
中間推論行動に影響する根拠が、さらなる分析で示されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文