Mine Odyssey で最も成功率高かった GPT-6 Astra も 85.6%。
この記事のポイント
- 既存ベンチマークは空間の範囲が限定的だった
- 実世界の場所をマインクラフトで再現し180タスクを作成
- GPT-6 Astraが最高だが、オープンモデルは大幅に遅れる
数字で見る
この記事に出てくる数字
| タスク数 | 180 |
|---|
どこで使えるか
実世界の場所を再現した空間ナビゲーションを自前で組む人向け。オープンモデルは大幅に遅れる arXivで論文公開済み モデル評価結果のみ。コード・データは未公開
スポンサーリンク
解説
かみくだいて説明します
Yuxuan Caoらの研究チームが2026-10-08に公開した評価基準です。Mine Odyssey と名付けられたこの基準では、世界中の30カ所の場所をブロックで再現した地図を使い、180の課題で人工知能に順番に目的地を訪れる指示を出して、どれだけ正しく動けるか試します。
30カ所も再現するんですか? 人工知能が地図の上を動くのを測るだけなら、今までにもありましたが、どこが違いますか?
従来は平面的な地図や限られた部屋の中だけでしたが、今回は20の屋外と10の室内を含み、階段やはしごの昇り降りまで扱うため、人工知能が実際に空間を頭の中で組み立てられるかどうかが問われます。
頭の中で地図を組み立てる、ということですね! 実際に測ってみて、一番良かったのはどの人工知能だったんですか。
8つの人工知能を測った結果、GPT-6 Astraが85.6%の成功率でトップでした。2番手のClaude Opus 5.5が73.9%で、オープンウェイトと呼ばれる一般公開されたモデルのトップ、DeepSeek-V4.1-Flashは23.9%でした。
一般公開されたモデルだと、トップでも23.9%しかないんですか。オープンウェイトというのは、開発元の会社以外も中身を見て改造できるということですか?
そうです。正確には、開発元の会社以外も中身を見て改造できる、という意味ではなく、オープンウェイトは、料理のレシピと材料の配合が公開されているようなもので、手元のパソコンで動かしたり、中身を変えたりできる状態を指します。
手元のパソコンで動かせる、ということは、研究者が自分の環境に合わせて直せる、ということですね! 23.9%という数字は、まだかなり遠いんですか。
確かに遠いです。85.6%と23.9%の差は61ポイント近くあり、目的地にたどり着くまでに道に迷ったり、扉が開けられなかったりして、最初からやり直す回数も開いています。
道に迷ってやり直す回数も違う、んですね! この評価基準を使うと、人工知能のどこが弱いのか、具体的に分かりますか?
はい。GPT-6 Astraは85.6%成功した一方、二位のClaude Opus 5.5は73.9%、最上位の公開重みモデルは23.9%で、改善の余地がまだ大きいと言えます。
上下の予測がまだ弱い、ということですね! 最後に、この評価基準はこれからどう広がっていくんですか。
Mine Odysseyは30カ所、20の国と地域、5大陸にまたがる180のタスクで、多様なスケールやレイアウト、地形、接続パターンをカバーしています。
出典
この記事のもとになった情報
- arXiv:Mine Odyssey: Benchmarking Spatial Agentic Intelligence in the Wild
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。