画像から隠れた物体を推論するVLMの弱点を特定するOccludeBenchとOccludeTrace、評価手法の話

論文

画像から隠れた物体を推論するVLMの弱点を特定するOccludeBenchとOccludeTrace、評価手法の話

スポンサーリンク

OccludeBenchでVLMの隠れ物体推論弱点が判明。直接ケース42.7%、推論ケース62.7%の20ポイント差。

この記事のポイント

  • 隠れた物体の推論でVLMの弱点が不明確だった
  • 5段階診断で推論過程の分断箇所を特定した
  • 画像生成併用で差は消えたが他手法は不確実

数字で見る

この記事に出てくる数字

直接ケース精度 42.7%
推論ケース精度 62.7%
ヒューマン精度 63.4%

どこで使えるか

画像生成能力を持つVLMで隠れ物体推論の差を解消したい人向け arxivで論文公開済み ベンチマークと診断手法の紹介。コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

2026-10-10 に Jasin Cekinmezらが arXiv に公開した OccludeBench というベンチマークで、画像とテキストを扱うモデル 5 つを調べました。影や反射から探す直接ケースの正解率は 42.7% でしたが、場面の広がりから推測する推論ケースでは 62.7% でした。人間はそれぞれ 63.4% と 68.5% で、モデルは 20.0ポイントの差が開いています。
隠れたものを影だけで当てるのは、かなり難しいんですね。では、作る人から見ると、この 20.0ポイントの差はどこで出ているんですか?
四段階の診断ツール OccludeTrace で追ったところ、画像全体から手がかりの位置を特定する段階でつまずいていました。正しく答えられたケースの 91% に対して、間違えたケースではその手がかりの位置当てが 50% しかありませんでした。推論の過程がどこで崩れるかをこのツールで切り分けられるのが、今回の研究のねらいです。
手がかりの場所をまず見つける段階で半分しか当たらないんですか。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
写真の中に影が落ちていても、その影がどの物体からできたものかを探し出す段階でつまずいているということです。例えばテーブルの影だけが見えていて、テーブルそのものが隠れている場合、モデルは影の形や向きを正確に追えていないことになります。
なるほど。では、推論ケースで 62.7% まで上がるのは、場面の文脈を頼りにしているからですか。
そうです。直接的な物理的な手がかりがなくても、部屋がキッチンなら冷蔵庫があるはずだと広げられるため、正解率が上がります。一方、影や反射のように明確な物理法則が関わる直接ケースでは、位置の特定が失敗すると答えに辿り着けなくなります。
研究する人から見ると、この 20.0ポイントの差を埋める手法は既に確立されているんですか。
長い推論や外部ツールの利用、Few-shot プロンプティングでは、改善が安定せず差は残りませんでした。一方で、隠れた物体の候補をまず生成させてから、見える手がかりと照合する手法では、画像生成ができるモデルで差が統計的に有意でなくなるまで縮まりました。
画像をまず作り直す段階を挟むと、なぜ差がなくなるんですか。
隠れた物体の候補をまず生成させて、それを手がかりと見比べて確かめさせる方法だと、画像生成の機能を持つ両方のモデルに限って差が統計的に有意でなくなるんです。
画像生成ができないモデルでは、まだ差が残るということですね。
はい。画像生成機能を持つモデルでは、その介入によって差が統計的に有意でなくなることを確認しました。一方、生成機能がないモデルでは、まだ差が残るということです。
最後に、このベンチマークはこれからどう使われていくんですか。
画像から消えた物体を推測する能力を、モデルごとに客観的に比較する基準として使われます。ただし、今回調べた 5 つのモデルに限定しているため、他のモデルへの適用結果はそこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文