ComCLIPの視覚エンコーダーは、LLaVA の 8 指標で性能を維持した。
この記事のポイント
- 小バッチで標準損失は忘却する
- 温度τを小さくしテキスト固定
- 線形プロbing向上。ただし検索は劣る
数字で見る
この記事に出てくる数字
| VLMベンチマーク数 | 8 |
|---|
どこで使えるか
視覚エンコーダーを差し替える人向け。LLaVAの再学習不要で下流互換を保つ GitHubで公開済み 単一エポックで学習可能
スポンサーリンク
解説
かみくだいて説明します
Zidan Wangらの研究チームが、画像と文章を同時に理解するモデル CLIP の学習手法について、arXiv に 2026年 10月 8日に論文を発表しました。標準的な contrastive loss を使うと小さなバッチで学習が崩れるとされてきましたが、温度パラメータを小さく設定し直すだけで、かえって精度が上がることが分かったとしています。
温度パラメータを小さくするんですか。contrastive loss という専門用語の意味がまだ掴めません。もう少しやさしく言うとどうなりますか。
正解のペアと不正解のペアの差を、温度という数値で割って調整する仕組みです。温度が高いと差が小さく見えてモデルが迷い、温度を下げると差がくっきり見えるため、モデルが正解の方向にしっかり引き寄せられます。
差がくっきり見えると、迷わず正解を追えるわけですね。では、この手法を使う側から聞きますが、既存のモデルに組み込むのは簡単ですか。
論文では ComCLIP という名前で、テキスト_encoder_を凍結した状態でビジョン_encoder_だけを約 1 エポックだけ訓練するレシピを提案しています。凍結したテキスト_encoder_があるため、画像を認識する部分だけを差し替えるだけで、アーキテクチャも推論コストも変わらないとしています。
凍結するというのは、いったい何を動かさないんですか。
文章を理解する側のネットワークです。動かさないことで、画像を認識する側のネットワークだけを新しく訓練できます。既存のモデルと入れ替えても、処理速度や重みのサイズはそのまま保たれます。
凍結したまま画像認識の部分だけ訓練するんですね。数値での差はどれくらい出るんですか。
ViT-B/16 のモデルで線形プロービングを測った結果、ComCLIP が 48.99、既存の CLIP-Refine が 42.28 でした。ViT-L/14 の MMVP では ComCLIP が 24.20、CLIP-Refine が 19.01 でした。画像と文章の検索では CLIP-Refine がまだ上回っています。
検索だけ既存の方が上回っているんですね。では、次の話題です。
画像と文章を同時に理解するモデルを応用する LLaVA-1.5-7B への組み込み結果です。ComCLIP で訓練したビジョン_encoder_をそのまま差し替えて、接続部分や言語モデルの再調整なしで 8 つのベンチマークを評価したところ、前後で大きな変化はなかったとしています。
接続部分も言語モデルもいじらないまま、精度が保たれるわけですね。最後に、この手法の今後の展開や残っている課題はありますか。
ComCLIP のモデルは GitHub で公開されていますが、CLIP-Refine が画像と文章の検索で強い理由については、まだ解明が進んでいません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。