VisionQが、視覚的判断基準ごとの VLM 判定精度を最大 63.1% と測定。
この記事のポイント
- VLM が視覚的理由を誤って選んでいた
- 1409 論文 1800 図で基準条件付き評価
- 最高精度 63.1%。基準により差が大きい
数字で見る
この記事に出てくる数字
| 論文数 | 1,409 |
|---|---|
| 比較図 | 1,800+ |
| アノテーション | 3,911 |
どこで使えるか
VLMの視覚的判断を精度よく評価したい人向け。基準ごとの判定精度が分かる。 GitHubとHugging Faceで公開済み
スポンサーリンク
解説
かみくだいて説明します
Vu Dinh Xuanらの研究チームが、VisionQというベンチマークを公開しました。コンピュータビジョンの論文で使われる比較図を、視覚的な基準ごとに判定する仕組みで、20のモデルを評価したところ、最も精度が高いものでも63.1%にとどまり、正解率はおよそ32.2%でした。
比較図の判定で、正解の画像を選んでも理由がずれている場合があるんですか?
その通りです。これまでの評価では全体としての好みや数値だけのスコアで測っていたため、モデルが外見の似通った部分だけで答えを選んでいる恐れがありました。VisionQでは質問ごとに判定の基準を明示し、その基準に沿って初めて正解としてカウントする形式にしています。例えば「色の再現性が正しいか」という質問には、色の再現性が最も優れている画像を選ばないと正解にならない仕組みです。
基準ごとに正解を分けるんですか。研究している人から見ると、どこがまだ解けていない課題だったんですか?
基準の分け方が論文ごとにバラバラで、モデルがどの視覚的特徴に注目しているか定量的に比較できなかった点です。ここでは6軸と51分類を設けた分類表を作成し、論文の比較図から3,911の注釈データを整理しています。
分類表を作った上で、実際にモデルに判定させているんですか。そのとき、論文の名前や手法の名前は隠すんですか?
隠します。手法名や論文のアイデンティティを伏せた上で、基準ごとの正解率を報告する評価手順を組んでいます。これにより、モデルが論文の主張やキャプションの文字情報に頼らず、画像そのものの視覚的証拠だけで判断しているか確認できます。
文字情報に頼らない判断ですね。現場で組み込む技術者から見ると、手元で動かすのに何が要るんですか。公開されているんですか?
評価手順と分類表のデータは公開されています。判定用のモデルとしてGemma-4-E4Bという基盤モデルを、対となる証拠データで特別に調整したVisionQ-Judgeも用意しています。これにより最後の選択肢を選ぶ傾向が7.0pp減り、精度が2.5pp上がっています。
63.1%が最高で、基準によって信頼度に差が出るんですか。論文を書いている人から見ると、このベンチマークをどう位置づけるんですか?
基準ごとに正解率が大きく異なるため、モデルがどの視覚的判断まで信頼できるか事前に把握できます。論文の比較図を提示する際に、どの判定基準で検証済みか示せば、読者がモデルの判断根拠をより正確に追えるようになります。
最後に、今後の見通しはどうなっていますか。
論文には1,409の論文と1,800以上の比較図が含まれており、3,911の手動注釈データポイントがリンクされています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。