WorldAuditBenchのモデル成功率は最大 42.3%。人間の 83.4% に届かない。
この記事のポイント
- 多モーダルエージェントの行動と視覚推論の連携は不明
- UE5とThree.jsで13環境213課題のベンチマークを作成
- 成功率6.6%〜42.3%。人間83.4%に及ばない
数字で見る
この記事に出てくる数字
| 成功率範囲 | 6.6%~42.3% |
|---|---|
| 人間性能 | 83.4% |
| タスク数 | 213 |
どこで使えるか
3D環境の異常を自動で見つけたい人向け。モデルの限界を把握できる GitHubで公開済み Unreal Engine 5とThree.js環境が必要
動画を見る
スポンサーリンク
解説
かみくだいて説明します
10月1日に、WorldAuditBenchという、仮想の3次元空間に潜む不自然な異常を自動で見つけるテストが公開されました。浮遊する物体や通れるはずのない壁、周囲と合わない配置など、合計213の異常タスクを13の環境で用意し、5つの異常の種類に分類しています。
仮想空間の中の違和感を、AIにチェックさせるんですね。このテストで特に注目しているのは、どこがまだ解けていない部分なんですか?
答えは、視覚で状況を把握する能力と、実際にその場を動き回る行動を、どう結びつけるかです。例えば、床に置かれた箱が本当に立体の箱なのか、それとも壁に貼り付いたただの画像なのかを判断するには、AIがその周りを歩いて裏側の角度を見る必要があります。この動きと見る力を同時に使う仕組みが、現状ではまだ十分には機能していないのが実情です。
周りを歩いて裏側を見る、つまり行動しながら判断する必要があるわけですね。
5つの最先端モデルで試したところ、成功率は6.6パーセントから42.3パーセントにとどまり、人間の83.4パーセントを大きく下回りました。探索しながら得た手がかりをどう集めて解釈するかに、まだ課題があるようです。
人間の83.4パーセントに対して、最も良かったモデルでも42.3パーセントですから、まだかなり差が開いていますね。この仕組みを自分で組み込む技術者は、どこから手をつけると一番効率的ですか?
要旨には、VLAベースの探索に続いてVLMによる異常同定を行う方法と、視覚推論が直接行動選択を導くエンドツーエンドのVLMエージェントという2つのパラダイムが試されています。成功率は6.6%から42.3%までばらついたそうですね。
役割分担と統合型で、精度にトレードオフがあるわけですね。
テスト環境は13のシーンで構築されていますが、実世界のデータへの適用可能性が課題です。実世界での精度向上が実用化の鍵になりますね。最後に、このテストが研究の現場でどう使われるんですか?
実世界のデータでも同じように精度が出るかどうかが、実用化の鍵になりますね。最後に、このテストが研究の現場でどう使われるんですか?
動きと視覚の判断を結びつける仕組みを、客観的な数字で比較できる場を提供することです。各モデルが動きながらどの程度の証拠を集め、どう解釈しているかを可視化できるため、どこが弱いのかを特定しやすくなります。
弱い部分を数字で特定しやすくなるんですね。
成功率はモデルによって6.6から42.3パーセントまで差があって、人間の83.4パーセントにはまだ届いていない。探索しながら証拠を集めて解釈する力は、今回の評価でもまだ足りていないと分かった。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。