BD-HazardVLMで測ると、VLMの防御運転推論は危険検出より大幅に劣る
この記事のポイント
- 弱構造化交通での防御的推論は不明
- 500件画像で3模型をゼロショット評価
- 粗い認識は可能だが、細粒度は不可
数字で見る
この記事に出てくる数字
| 画像数 | 500枚 |
|---|---|
| ハザード検出精度 | 88.0〜89.2% |
| リスクタイミング精度 | 1.6〜12.4% |
どこで使えるか
防御運転推論が必要なVLM評価者向け。粗い認識と細粒度推論の差を理解する 論文のベンチマークデータは公開予定 モデルの重みは各自で入手が必要
スポンサーリンク
解説
かみくだいて説明します
Abdullah Al Maruf さんたちの研究チームが、バングラデシュの道路シーンを対象にした BD-HazardVLM というベンチマークを発表しました。画像 500 枚に危険の有無や危険の種別、危険が訪れるタイミング、危険の深刻さ、回避行動、証拠となる視覚情報、それに幻覚や西洋道路バイアスのトラップを付けたものです。
500 枚の画像に危険の種別や回避行動まで書き込んだんですね。では、この画像データを使って実際に評価したモデルはどれですか?
Qwen2.5-VL-7B、InternVL3-8B、MiniCPM-V-4.6 の 3 つです。共通の指示と出力形式でゼロショット評価したところ、危険の有無を当てる精度は 88.0 percent から 89.2 percent でした。ただし、これは多数派クラスを全部正解とする 89.0 percent の基準値とほぼ同じです。
危険があるかないかはほぼ正解なのに、それ以外の項目は全然ダメなんですね。では、種別やタイミングを当てる精度はどれくらい下がったんですか?
種別の正解率は40%を切り、タイミングの正解率は1.6%から12.4%です。深刻さの精度でInternVL3-8Bが61.2%を出していますが、深刻度が高い58件のケースでは一件も正解を出せませんでした。
深刻な危険が 58 件もあるのに、そのうち一件も拾えていないというのは危険ですね。研究している人から見ると、どこが特に弱いんですか。
Qwen の方は種別が一つの値に偏ってしまい、全モデルとも潜在危険の先読みが弱く、トラップを自分で見抜く割合はほぼゼロです。例えば、信号の色は間違えずに赤と分かるのに、交差点で右折してくる車まで読み取れないイメージです。粗い認識と細かい防御運転の推論は別物だという結論です。
信号の色は分かるけど曲がってくる車までは読めない、なるほど。では、この 500 枚の画像は公開されていますか。現場で組み込む技術者が使う場合、動かすのに何が要りますか。
画像データは RSUD20K と TFP-BD という公開データセットから抽出したものです。評価に用いたモデルのコードや評価スクリプトの公開有無については、そこはまだ分かっていません。
評価のスクリプトがまだ不明なんですね。では、このベンチマークが示す課題を解決するには、次はどの方向に進むべきだと思いますか。
地理的に多様な環境で安全評価を行う必要があります。バングラデシュのような構造化されていない交通環境では、危険の有無を当てるだけの実装では不十分で、防御運転に必要な推論まで含めた評価基準が求められます。
最後に、この評価手法を他の国や地域の道路シーンに適用する場合は、どう変わるんですか。
地域による交通環境の違いをふまえた評価が大切で、構造化されていない交通環境での防御運転の推論をどう確かめるかが問われます。
あわせて、先月には運転シーンにおけるビジョン言語モデルの推論・評価能力を測定するベンチマークに取り組む別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。