3D の位置関係を扱う DK-VLM、視線移動後の空間推論を更新する手法

論文

3D の位置関係を扱う DK-VLM、視線移動後の空間推論を更新する手法

スポンサーリンク

DK-VLMが、視線移動後の空間推論を更新する手法として公開された。

この記事のポイント

  • 3D空間関係の理解が困難
  • 幾何位置で注意を制御
  • 6ベンチで最高スコア

数字で見る

この記事に出てくる数字

VSI-Bench 74.33
ReVSI-32 58.28
ベンチ数 6

どこで使えるか

視線移動後の空間推論を更新したい人向け。3D位置情報を注意に組み込む コードの公開は記載なし 8Bモデルが最高スコア

スポンサーリンク

解説

かみくだいて説明します

Han Suらの研究チームが、画像と文章を同時に扱うモデルの空間認識を改善する DK-VLM を発表しました。従来の手法は 3D の復元データを画像のトークンに融合させていましたが、学習データが少ないと正確に揃えられなかったのを、幾何学的位置を直接 Attention に組み込む形で解決しました。
Attention に位置情報として取り込むんですね。では、作る人から見ると、既存のモデルに追加するだけで済む話ですか、それとも一から作り直す必要がありますか。
既存のモデルが持つ Attention と位置情報を残すセマンティックカーネルと、別の幾何学カーネルを足す形です。両方の出力を学習したゲートで混ぜ合わせるため、基盤となるモデルの仕組みをそのまま生かしたまま空間の情報を補強できます。
2 つのカーネルを混ぜ合わせるんですね。専門用語のカーネルとゲートについて、もう少しやさしく言うとどうなりますか。
分かりやすく言うと、セマンティックカーネルは文章の意味を捉える既存の目印で、幾何学カーネルはカメラの位置や 3D の座標から動く視点に対応する別の目印です。ゲートはその 2 つの目印が出力した結果を、場面ごとにどちらを優先するか決める蛇口のようなものです。
蛇口で優先度を変えるんですね。では、研究する人から見ると、これまでに何ができていなかったんですか。何と比べて、何件で測った結果ですか。
複数の視点にまたがる 3D の位置関係を正しく理解できず、観察者が動いたときに判断を更新できなかった点が課題でした。6 つの空間認識のベンチマークで平均点を出し、VSI-Bench で 74.33、ReVSI-32 で 58.28 の最高点を記録しました。
6 つのベンチマークでトップなんですね。RC 監督で段階的な回転と進行方向の目標値を使う訓練ですが、作る人から見ると動かすのに何が要りますか。公開されていますか。
検証済みの 1 ステップ分の注釈から段階的な目標値を引き出し、それを訓練データとして使う形です。コードやモデルの重みはプロジェクトページで公開されています。
検証済みの注釈から目標値を作るんですね。では、AI を使う側から見ると、動画の一般的な理解力は維持されているんですか。
訓練後も一般的な動画の理解力は保たれています。ただし、RC 監督を適用した場合の具体的な点数の伸び幅や、他のモデルとの直接比較データについては、そこはまだ分かっていません。
多段階の空間推論が改善されるんですね。最後に、3D の座標やカメラの位置は自分で用意するんですか、モデルが自動で推定するんですか。
モデルが自動で推定した座標とカメラの位置を使ってAttentionを制御する形です。推定精度が低い場合のフォールバック処理や、他の空間タスクへの転用可能性については、そこはまだ分かっていません。
あわせて、先月には異なる視点からの観察における空間関係の理解に取り組む別の研究も出ています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文