ARC-AGI-3で100点を取る世界モデルの検証手法 Kepler

論文

ARC-AGI-3で100点を取る世界モデルの検証手法 Kepler

スポンサーリンク

Keplerが ARC-AGI-3 全25ゲームで100点。検証済み。

この記事のポイント

  • 公開スコアだけでは区別できなかった
  • 仮説を実行モデルで検証する手法
  • 25ゲーム全100。ただし3件失敗

数字で見る

この記事に出てくる数字

RHAE 100.00
環境アクション数 8,256

どこで使えるか

ARC-AGI-3で完全正解を目指す人向け。検証付きの報告が要る場面 オープンソースハルネスとして公開済み

スポンサーリンク

解説

かみくだいて説明します

Wensen 氏が 2026 年 10 月 1 日に arXiv に公開した Kepler という枠組みが、ARC-AGI-3 のテストで Claude Opus 5 を使い全 25 ゲームで 100.00 RHAE を達成しました。183 段階のうち 181 段階で、最終試行の行動数が人間の中央値以下に収まり、全体のコストは 777.72 ドルでした。
全ゲームで満点というのは確かに驚きですが、その 777.72 ドルというのは何に含まれるコストなんですか?
97.37% がキャッシュ読み出しで済んだため、実際の API 利用料は 777.72 ドルに抑えられています。この枠組みの仕組みは、AI が試した仮説を実行可能な世界モデルとして保存し、過去の遷移チェックと条件付き予測チェックで検証する点です。
Keplerは仮説を実行可能なモデルとして保存し、遷移チェックと予測チェックで検証します。
正確には、その地図に動きのルールを組み込んだものです。例えば盤面ゲームで AI が右上に動けば得点になると仮定した場合、実際に動かして結果が一致するかを後から確認します。一致しない仮説は即座に捨てられます。
なるほど。では、開発者側から見ると、この仕組みを組み込むのは容易ですか。
枠組み自体はオープンソースで公開されていますが、3 つの検証失敗事例が報告されています。ソースコードの漏えいによる無効な完全実行、制御条件での枠組み再構築、そして自動修復によるプランナーの破綻隠蔽です。
自動修復が問題を隠すというのは、バグを直したつもりになって実は直ってない状態ですね。
その通りです。研究の立場から言えば、公開スコアだけではモデルの良し悪しを区別する力が限られていることが明確になりました。初回試行でコスト条件付き、検証を意識した報告が求められるようになります。
公開スコアだけでは区別が難しいというのは、開発者が何を改善すべきか見通しにくいということですか。
Claude Opus 5 と GPT-5.6 Sol のボードで、50 個のゲームモデルセルのうち 48 個が 100 に到達しています。アニメーションフレームにはテキストグリッドにはない情報が含まれており、視覚情報の活用が鍵になる可能性も示唆されています。
GPT-5.6 Sol でも同様の結果が出たというのは、手法がモデルに依存しないということですね。
公開スコアだけでは区別が難しいと指摘し、初回試行やコスト条件付き、検証を重視した報告が促されています。
最後に、開発現場でこの手法が実際に使われる見込みはありますか。
自動修復が問題を隠す事例をどう防ぐかは、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文