Argo-Benchが、235テーブルのERPでデータエージェントを評価。14モデル中最上位でも正解34.8%。
この記事のポイント
- 既存ベンチは回答キーに誤り
- 210タスクで8100万件を評価
- 14モデル最高34.8%のみ
数字で見る
この記事に出てくる数字
| タスク数 | 210 |
|---|---|
| 注文数 | 8100万 |
| テーブル数 | 235 |
どこで使えるか
ERPや大規模データウェアハウスでデータ分析を自動化したい人向け 論文で公開済み シミュレータの正解状態は非公開
スポンサーリンク
解説
かみくだいて説明します
Gabriel Tomitsukaらの研究チームが 2026 年 10 月 2 日に arXiv に公開した Argo-Bench は、企業のデータ分析ワークフローを評価するフレームワークです。ニューヨークのフードデリバリー事業を想定し、2024 年の注文数はおよそ 8100 万件、データベースは 235 個のテーブルに 75 億行に及ぶ規模です。
8100 万件もの注文を扱う本格的な環境で AI を試すんですね。従来の text-to-SQL のベンチマークとは何が違うんですか?
従来のベンチマークは単一の引き出しからファイルを取り出す作業でしたが、Argo-Bench では生成結果を基に不正アカウントの停止や配達員の予算配分、未払い分の支払いといった業務アクションまで実行させます。評価も SQL の正誤ではなく、シミュレーター内での結果の良し悪しで判定します。
不正アカウントを停止したり予算を配分したりする実務まで含めるんですか。AI がデータベースの中を自分で探っていく必要があるんですか。
そうです。シミュレーターが持つ本来のデータは AI が見えないように隠してあり、AI 自身でテーブルをたどって事実を再構築してから行動する必要があります。まるで情報量の多い図書館で目次だけを頼りに目的の資料を探し出す作業に近いです。210 個のタスクはすべて実行可能な正解例が用意されており、データベースの中だけで完結するよう設計されています。
正解例がある上でデータベースの中だけを使って解くんですね。
最先端のモデル 14 種類で試したところ、最も性能が高いモデルでも 95 点以上の高得点を獲得できたタスクは 34.8% にとどまり、平均点は 59.5 点でした。
平均が 59.5 点というのは、まだ半数以上解き切れていない状態なんですね。この Argo-Bench は研究者にとってどこが新しい評価軸になるんですか。
企業の実務では複数のテーブルを横断して統計分析を行い、その結果を受けて判断を下す必要がありますが、これまでのベンチマークは単一のテーブルに収まるビジネスイベントしか扱えませんでした。Argo-Bench は規制開示資料や学術文献を基に経済モデルを組み込んでいるため、実際の企業データウェアハウスに近い難易度で AI の判断力を測れます。
では、実際の企業データウェアハウスに近い難易度で測れるんですか。この評価フレームワークは一般公開されているんですか。
そこはまだ分かっていません。研究チームは Argo-Bench が、実際のデータ環境を理解し、ナビゲートし、行動できる AI の開発を促進するきっかけになると期待しています。
最後に、今後どのようなモデルが Argo-Bench で高得点を取れるようになると見込まれますか。
現時点では最先端モデルでも半数以上のタスクを解き切れていませんので、データベースの横断操作と業務アクションの両立が課題です。どのような技術的進展があるかは今後の公開データ次第ですが、少なくとも企業規模のワークフローに対応できる AI の開発が進むと期待されます。
出典
この記事のもとになった情報
- arXiv:Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
- 公開日:2026-10-02
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。