FrontierMath Erdős、GPT-6 Astraが3%、他は0%
この記事のポイント
- AIの数学的能力を体系的に評価できていなかった
- 68の未解決問題で5つのAIを同条件で評価した
- GPT-6 Astraが3%で最高。他は0%
数字で見る
この記事に出てくる数字
| 問題数 | 68 |
|---|---|
| 候補問題数 | 652 |
どこで使えるか
数学の未解決問題でAIの能力を厳密に比較したい人向け。 arXivで公開済み 68問中GPT-6 Astraが3%、他は0%
スポンサーリンク
解説
かみくだいて説明します
AIが数学の未解決問題を解けるって話、最近よく聞きますが、本当に証明を完成させられるんですよね?
確かにその通りです。大規模言語モデルは数学の練習問題では高い精度を出しますが、未解決の予想を形式検証環境で正しく証明する能力はまだ限定的です。
でも、既存のベンチマークだと簡単な問題ばかり選んで点数を稼いでいる気がしないですか?
確かに、68問すべてが未解決問題で、652問から選ばれた難易度の高い問題ばかりです。
そこで注目されているのが、アーヴィング・エルデースの未解決問題68個を収録したベンチマークです。652個の問題から選別し、形式検証ツールで自動求解を試みます。
そのアプローチって、具体的にはどういう仕組みなんですか?
AIエージェントが記述環境で証明を構築し、自動的に型チェックと検証を行う仕組みです。各モデルに同一の計算予算を割り当て、公平に比較します。
形式検証で厳密に正解を判定するんですね!
その通りです。証明が論理的に破綻している場合は即座に却下され、メモリ配置や推論ステップの最適化が結果に直結します。
実際のスコアはどうなったんですか?
5つのモデルを1問題あたり300ドルの予算で評価したところ、最高成績のモデルでも3%の正解率にとどまり、他の4モデルは0%でした。
300ドルの予算では到底届かないんですか?
68問中たった1問しか解けず、他はゼロ。300ドルの予算では到底届かないんですか?
でも、特定の数学分野に特化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。1問あたり300ドルの同じ予算で5つのAIに自律的に解かせたところ、3パーセント取れたのはGPT-6 Astraだけで、残りはすべて0パーセントでした。
自分で試す方法はありますか?
論文の公開コードと環境構築ガイドがありますので、開発環境を整えて実行してみてください。
68問のベンチマークで、AIモデルの能力を公平に評価しています。
未解決問題が一つでも解ける日が来るのが楽しみです!
出典
この記事のもとになった情報
- arXiv:FrontierMath Erd\H{o}s
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。