CREATEが 11 種の VLM の連想力を測定。人間を下回る結果がほとんど。
この記事のポイント
- VLMの横断的推論を人間と比べて測る方法が無かった
- 155問の視覚連想テストベンチを作成し11モデルを評価
- 人間より劣るが、効果はテキストの手がかりに依存する
数字で見る
この記事に出てくる数字
| 評価モデル数 | 11 |
|---|---|
| テスト問題数 | 155 |
| 人間被験者数 | 25 |
どこで使えるか
視覚的な連想力を評価したい人向け。モデルの横断的推論を人間と比較する手法が要る 論文のベンチマークとして公開 VLMの連想能力を評価する目的
スポンサーリンク
解説
かみくだいて説明します
Ziqing Yangらの研究チームが2026-10-14にarXivへ公開したベンチマーク「CREATE」についてです。3枚の似ていない画像から共通する結びつきを見つける問題が155問あり、人間25人で検証した上で11種類のモデルをテストした結果、ほとんどのモデルが人間より点数が低くなりました。
3枚の画像から1つの答えを見つけるテストなんですね。作る側からすると、画像だけを見て連想する力と、テキストの手がかりがある時の力に差が出るというのは、現場でどう使い分けるべきかという話になりますか。
正確には、テキストの手がかりがある時は正解率が上がりますが、手がかりなしの画像だけの問題では性能が頭打ちになります。つまりモデルが画像同士の関係を直接結びつけるのではなく、与えられた文字情報に頼って推測している段階です。
つまり、モデルは画像そのものの関係ではなく、与えられた文字情報に依存している状態と言えますね。
例えば赤い丸、青い三角、黄色い四角の3つが並んだ時、モデルは形や色そのものの関係ではなく、問題文に「果物」という文字があれば果物の名前を連想して答えます。画像単体では答えにたどり着けない状態です。
155問は半自動で作成した規模なんですね。研究する人から見ると、人間とモデルの点数の差はどれくらい出るんですか。
具体的な点数の差については、要旨に記述がないため、人間とモデルの点数の差について、モデルのテスト結果が人間を下回っていることが示されています。
11種類のモデルをテストしたんですね。それぞれのモデルに目立った差は出たんですか。
具体的な順位や数値の比較は公表されていません。そこはまだ分かっていません。
連想能力がテキストのキューに依存し、視覚パズルに普遍的に拡張しないという分析結果が示されています。
分析の詳細なスケジュールや追加実験の有無については、現時点で公表されていません。そこはまだ分かっていません。
最後に、このテストが実際の製品やサービスに組み込まれる見通しはありますか。
要旨には具体的な製品化の計画やロードマップに関する記述はなく、本研究は評価基準の提案とベンチマークの構築に焦点を当てています。
出典
この記事のもとになった情報
- arXiv:CREATE: Creativity Evaluation of VLMs using the Visual Remote Associates Test
- 公開日:2026-10-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。