未知のルールを学ぶ AI を測る ExplorationBench、科学発見の能力を評価する話

論文

未知のルールを学ぶ AI を測る ExplorationBench、科学発見の能力を評価する話

スポンサーリンク

ExplorationBenchが公開。10 系統の AI を評価し、未知のルール習得に差があることを示した。

この記事のポイント

  • 科学探査の評価が難しかった
  • 検証可能なエイリアンワールドで測った
  • 不慣れなルール習得を確認。ただし探索の先行きは不安定

数字で見る

この記事に出てくる数字

評価システム数 10

どこで使えるか

未知のルールを自前で習得させたい人向け。検証可能な環境で探索能力を測れる arXivで公開済み サンドボックスは条件付き

動画を見る

スポンサーリンク

解説

かみくだいて説明します

AIが科学発見を支援する時代になりましたが、未知の仮説を構築する能力を測る指標って、実はまだ確立されていないですよね?
確かにです。既存のベンチマークは既知の知識を問うものが多く、真の探求心を評価する枠組みが不足しています。
だとすると、AIが答えを出した時に、ただの暗記ではないかを見分ける方法がないと意味がありませんよね?
その通りです。事前学習データからの想起と、環境内での実証的な探索を区別する手法が、従来は欠如していました。
そこで提案されたのがExplorationBenchです。実行可能なエイリアンワールドの法則に基づき、暗記では解けない評価フレームワークを構築しました。
そのアプローチって、具体的にはどういう仕組みなんですか?
AlienCode と AlienLogic の2つのサンドボックスを用意し、わざと誤ったマニュアルと環境フィードバック、専用ツール呼び出しスキーマをシステムに提供します。
なるほど!法則をコードや論理で定義して、システム自身で仮説検証を繰り返すんですか!
そうです。システムは限られたリソースを駆使して未知のルールを抽出し、保持されたタスクを解きます。
10系統のAIで評価した結果、具体的な性能差や傾向はどうだったんですか?
最強クラスは未知法則の習得に成功しましたが、探索軌道によって性能に大きなばらつきが見られました。AlienCode の31ターゲットと70タスク、AlienLogic の24ターゲットと70タスクを跨いで、継続探索が停滞したり過去の成果が反転したりするケースも確認されています。
確かに!探索の質が結果を分ける重要ポイントなんですね。
でも、未知の法則を習得できても、結局根本的な解決にはなっていないんじゃないですか?
確かに、各タスク間でパフォーマンスに大きなばらつきがあり、継続的な探索が以前の上昇を逆転させる場合もありますね。
研究室で実際に試す場合はどうすればいいんですか?
公開リポジトリからコードとサンドボックス仕様をダウンロードし、ツール呼び出しのスキーマに沿って評価環境を構築してください。
現時点では特定の環境下での検証に限られますが、AIが未知環境で真に新しい知識を獲得する道筋を示す一歩となりました。
科学発見の自動化が現実味を帯びてきますね!今後の発展に期待大です!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文