隠れた事実を推論させるエージェント評価 Era by Eon、企業データの分析能力を測る話

論文

隠れた事実を推論させるエージェント評価 Era by Eon、企業データの分析能力を測る話

スポンサーリンク

Era by Eon でエージェントは隠れた事実を推論できず、正解は限られた。

この記事のポイント

  • エージェントの隠れ知識活用能力が不明だった
  • 27問に隠れ事実8問を加えたベンチマークを作成
  • 最高18/24正解。ただし類推問は1/84

どこで使えるか

隠れた情報を組み合わせて推論するシステムを組む人向け。コード検証で正答を固定できる設計が要る

動画を見る

スポンサーリンク

解説

かみくだいて説明します

企業システムに組み込むAIエージェントって、実際の業務データでは思ったように動かないですよね?
確かにその通りです。トップモデルでも27問中22〜25問正解するデータでは区別がつかない現場が広がっています。
既存の評価基準だと、なぜそれほど差がつかないんですか?
4つの最強モデルが27問中22〜25問正解するため、ベンチマークはモデル間の差をほとんど見分けられなくなっています。
arXivで公開された新手法は、企業データに隠された事実を読み解く8つの質問テンプレートを追加しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
コードが言語モデルなしで正確な答えを計算し、モデルは複数の情報源を照合して正解を導きます。
複数のログを横断して矛盾する情報を統合するんですね!
各エージェントはモデルとエージェントプログラムを組み合わせ、企業システムに接続します。
隠し事実の推論でどれほど性能が変わるんですか?
最良のエージェントでも24回の試行中18回しか正答できず、6つのモデルのうち4つは24中6回以下の正答率に留まります。
類似する記録の中から正しい1件を選ぶ難問では、84回の試行で全エージェント合わせて正解は2回だけでした。
最も難しい文脈を跨ぐ推論が必要な質問では、84回の試行で全エージェント合わせて正解は1回だけでした。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。12のエージェントを評価し、最も優れたエージェントでも正答率は75%にとどまりました。
実際の試し方はどうすればいいんですか?
公開コードをGitHubで入手でき、サンプルデータでエージェントプログラムの接続テストを繰り返してみてね。
構造化データと非構造化データの両方から推論する必要があるんですか?
実務レベルのAIエージェントがさらに進化していくのが楽しみですね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文