予測市場のイベントでLLMエージェントを訓練する環境 Forecast-Dojo、学習と評価を両立

論文

予測市場のイベントでLLMエージェントを訓練する環境 Forecast-Dojo、学習と評価を両立

スポンサーリンク

Forecast-Dojoが公開。予測市場のイベントで LLM エージェントの訓練と評価を両立する環境。

この記事のポイント

  • 歴史市場予測に及ばない
  • 1568件のPolymarketで評価
  • 12モデルとも市場に届かない

数字で見る

この記事に出てくる数字

ニュース記事数 18.8M
評価モデル数 12

どこで使えるか

予測市場のイベントでLLMを訓練・評価したい人向け。1568件のデータとニュースで研究コストを下げられる。 arXivで公開済み Polymarketのデータ利用に注意

スポンサーリンク

解説

かみくだいて説明します

LLMが将来の予測や市場の動きを予想するって、最近よく聞きますよね?
確かにその通りです。予測市場のデータとニュースを組み合わせて、AIに未来を読み解かせる試みが増えています。
でも、新しい事件が起きるのを待たずに評価や学習を繰り返すのは、実は難しいんですか?
その通りです。従来の手法では事象の解決を待つ必要があり、データ収集に時間とコストがかかっていました。
そこでarXivに公開されたForecast-Dojoが、過去の予測市場イベントと日時付きニュースを組み合わせる環境を提案しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
1,568のPolymarketイベントを学習用と評価用に分割し、1,880万件の日時付きニュースから関連情報を抽出してAIに調査させます。各モデルは過去の時点に戻って予測を修正するリプレイ機能を持っています。
過去のデータに戻って予測を練り直せるなんて、確かに効率的ですね!
12種類のモデルで試した結果、具体的にどれくらい改善されたんですか?
調査ツールを使用すると全12モデルのブライヤースコアが低下し、事象の進行に伴って予測が改善されます。特に新しい証拠が記録される段階で最大の向上が見られました。
従来の市場予測と比較するとどうなるんですか?
どのモデルも歴史的な市場予測よりもブライヤースコアと精度で劣る結果となっています。
でも、リプレイ環境を整備しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。すべてのモデルが歴史的市場予測よりも精度とBrierスコアで劣ることが確認されました。
実際の開発現場でこの環境を試すには、どうすればいいんですか?
環境は1,568のPolymarketイベントと1,880万本のニュース記事で構成されています。
12モデルの評価では、研究ツールが全モデルのブリヤースコアを改善させました。
再現可能な環境でAI予測がさらに進化していくのが楽しみですね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文