MKP-Adapterがバックボンの更新なしで埋め込みモデルの互換性を保ち、追加遅延も無視できるほど小さく多モーダル対応を実現した
この記事のポイント
- 既存手法はバックボンの更新が必要
- マルチモーダルLLM向けアダプタのみで対応
- 画像・動画など多様なベンチマークで検証
数字で見る
この記事に出てくる数字
| 追加レイテンシ | negligible |
|---|
どこで使えるか
バックボンの更新なしで多モーダル埋め込みの互換性を保ちたい人向け arXivで公開済み バックボーン更新不要、学習は事前抽出埋め込みのみ
スポンサーリンク
解説
かみくだいて説明します
Jaeseok Byun 氏らの研究チームが arXiv に論文を発表しました。文章や画像、動画を読み取る AI のモデルをアップグレードする際、既存のデータベースを最初から作り直す必要がなくなる手法、MKP-Adapter を開発しました。
既存のデータベースを作り直さなくて済むんですね。現場のエンジニアとして、どのくらいの手間が省けるんですか。
従来は新しいモデルに合わせてデータベース全体を再計算する必要がありましたが、この手法ではもとのモデルの骨格部分には一切手を加えず、追加のモジュールを挟むだけで対応できます。つまりモデル本体の重みを触らずに、新しい情報と古い情報を両方使える状態に保てるということです。
骨格は触らないけど、追加する部分だけで両方に対応する。新しい情報と古い情報を混ぜると、どちらかが狂ったりしませんか。
確かにそこが最大の難点で、新しい埋め込みベクトルの幾何学的な配置を崩さずに、かつ古いベクトルとの整合性も維持する必要があります。そこで複数のレベルで情報を保持する損失関数と、難しいサンプルに重点を置いて学習する重み付けの仕組みを組み合わせました。
複数のレベルで情報を保持して、難しいサンプルに重点を置く。でも配置バランスを崩さずに両方に対応するのは、どうやって実現するんですか。
文章や画像を AI が理解しやすい数字の並びに変換したものです。同じカテゴリのものは数字の並び同士が近く、違うカテゴリほど遠くなるように配置するイメージです。新しい変換ルールで並び替えたときに、以前の配置バランスを損なわないようにする仕組みだと思ってください。
配置バランスを損なわないようにする。研究している人から見ると、これまでは何ができていなかったんですか。
既存の互換性維持手法は、モデルの骨格部分そのものを再学習する必要があり、膨大な計算コストと性能が低下するリスク、そして自社が開発したモデルの重みにアクセスできない場合の対応ができませんでした。
計算コストとリスク、アクセス制限の三つが解消される。画像から動画まで幅広いタスクで、どのくらいの実績が出ているんですか。
画像、テキスト、視覚文書、動画の検索タスクすべてで強い互換性を達成しました。学習にはあらかじめ抽出しておいた埋め込みデータだけを使い、モデル本体の処理にかかる追加の遅延もほぼないという結果です。
追加の遅延がほぼないのは大きい。最後に、実務で使われるまでの見通しや、まだ解けていない課題はありますか。
論文ではプロプライエタリなモデルの重みにアクセスできない場合の対応に触れていますが、具体的な公開スケジュールや他社モデルへの適用範囲については、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。