OTTERがフリーズモデルから修飾語の情報も読み取れることを示した
この記事のポイント
- 修飾語の視覚情報復元は不明だった
- OTで生成トークンと視覚領域を対応
- 空間語で明確。ただし名詞も情報持つ
どこで使えるか
修飾語や空間表現の位置情報も使いたい人向け。文脈変化に強い 論文発表のみ。コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
AI for Good とイタリアのシエナ大学などの研究チームが、arXiv に論文を発表しました。マルチモーダル大規模言語モデルが画像を説明する際、修飾語まで画像のどの部分に対応しているかを読み取る手法を開発したものです。
なるほど。これまでの手法では名前の部分だけしか見ていなかったんですか?
そうです。これまでモデルが「左の黄色いバナナ」と生成した場合、画像のどこに「バナナ」という文字を対応させるかは調べられていましたが、「左」や「黄色い」といった修飾語が画像のどの領域を指しているかはほとんど注目されていませんでした。
確かにそこまでは見えていなかったですね。モデルが生成した言葉と画像の領域を、配送ルートのように効率的に対応づける計算を使ったんですね。
研究チームが提案した OTTER という手法では、最適輸送問題という数学の考え方を使っています。これは荷物を運ぶ経路を最も効率的に割り当てる計算で、モデルが生成したそれぞれの言葉と画像の領域を、重なり具合に合わせて自然に対応づけています。
位置だけでなく色や名前の部分からも情報が得られるんですか?
位置を表す言葉が最もはっきり読み取れましたが、色を表す言葉や名詞の部分からも参照先の情報が得られました。文脈を少し変えても、読み取った対応関係は安定していたという結果です。
データセットをまたいでも安定して対応づけが保たれるのは、文脈が変わっても頑丈なことを示していますね。
別のデータセットに適用しても対応関係が保たれることを確認しています。学習した対応づけは、制限されたテスト環境だけでなく、自由に文章を生成する場面でも機能することが分かっています。
最後に、実装する側から見ると、この手法を使うのにどんな準備が要りますか。
凍結したモデルの表現の上に、追加の小さな探査ネットワークを乗せるだけです。計算量は軽量化されており、既存のモデルをそのまま活かせます。
既存のモデルに軽く乗せるだけで使えるんですね!
研究チームは、修飾語や空間表現、関係・行動項についても、インスタンスを特定する情報が読み取れることを明らかにしました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。