Web Agent がグラフの歪みで間違うかを測る MisVisAgentBench、13モデルの検証

論文

Web Agent がグラフの歪みで間違うかを測る MisVisAgentBench、13モデルの検証

スポンサーリンク

MisVisAgentBenchで13モデルの成功率が34ポイント低下。

この記事のポイント

  • Webエージェントの可視化信頼リスクは不明
  • 280件の対で実行可能なベンチマークを作成
  • 成功率34ポイント低下。ただし13エージェント平均

数字で見る

この記事に出てくる数字

タスク数 280
成功率低下 34ポイント
評価数 13

どこで使えるか

可視化の信頼が成功率に響く点を知りたいWebエージェント開発者向け。 論文で公開済み 13のVision-Language Web Agentを評価

スポンサーリンク

解説

かみくだいて説明します

Yisheng Liらの研究チームが、2026年10月9日にMisVisAgentBenchというベンチマークを公開しました。Web上で情報を調べたり作業をしたりするAIに対し、意図的に見せ方を工夫したグラフと、正しいグラフのペアを280組用意し、どちらを使ったときにタスクが成功するかを測るものです。
意図的に見せ方を工夫したグラフ、つまり見せ方を歪めたデータですね。AIがグラフを見て判断を間違える場合、それはランダムにミスをするんですか?
必ずしもランダムではありません。実験の結果、AIが間違えた先の行動は、グラフが意図した方向に揃ってしまいます。正確には34ポイント以上の成功率の低下を確認しています。13種類のAIで試した平均値です。
34ポイント以上も下がるんですか。だったら、見た目をごまかす工夫に左右されやすいってことですよね。
軸の始め方や目盛りの間隔を変えたり、凡例の色を逆転させたりする手法を使います。専門的には視覚的エビデンスの改ざんと言いますが、要するに地図の縮尺だけを変えて、遠い場所を近いと勘違いさせるのと同じ仕組みです。
縮尺だけを変えられて、実際の距離を誤認する感じですね。もう少しやさしく言うとどうなりますか。
数字の羅列そのものではなく、グラフが描く形状や傾向の読み取りに依存しています。厳密に言えば、画像として認識する部分と、テキストとして読む部分を別々に処理していますが、画像側の判断が下りると、その後のテキスト解析まで引きずられてしまいます。
画像の判断がテキストの処理まで影響するんですね。タスクの完了までに余分な操作が増えるかどうかも測るんですね。
見た目だけではありません。タスクを完了するまでに余分なブラウザの操作が増えるか、判断をためらう時間が延びるかも同時に計測しています。正確には、グラフが正しい場合と見せかけの場合で、その差を数字で出しています。
操作が増えたり判断が鈍ったりするんですね。グラフの正しい状態と見せかけの状態を対比させて、数値で比較しているんですね。
このベンチマークでわかったのは、見かけだけ紛らわしいグラフに差し替えると成功率が大きく下がることで、視覚表現への強さは今後詰めるべき課題として残っている。
訓練データを増やす方向で進んでいるんですね。最後に、この研究チームは今後、どのような結果を公開する予定ですか。
公開予定の成果としては、13の視覚言語Webエージェントを対象に、クリーンなチャートから誤導的なチャートへ置き換えることで成功率が34ポイント以上低下することを実証しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文