PotARCinが、抽象推論の習得を5つの次元で測る。標準評価と最大52ポイントの差が確認された。
この記事のポイント
- ARCの正解出力だけ測る従来の評価は狭すぎた
- 抽象ルール理解を5次元で測るPotARCinベンチマークを作った
- 5モデルで25〜52ポイント差。ただしP-ARCでは1〜8%
数字で見る
この記事に出てくる数字
| 評価次元数 | 5 |
|---|---|
| 性能差 | 25-52pp |
| P-ARC精度 | 1-8% |
どこで使えるか
抽象推論の習得を多角的に測りたい人向け。標準評価で見えなかったモデル差が可視化される arXivで公開済み ARC-AGI-1学習セットで評価
スポンサーリンク
解説
かみくだいて説明します
ARCベンチマークで正解グリッドを出力できれば、AIは抽象推論を習得したと言えますよね?
確かにその通りです。従来はテスト入力に対して正しい出力グリッドを生成する能力のみを計測してきました。
でも、正解を写すだけなら、本当に頭の中でルールを理解していることになるんですか?
なるほどですね。単なるパターンマッチングに過ぎず、本来備えるべき多様な能力を測れていないのが実態です。
arXivに公開されたPotARCinが、抽象ルールの理解度を定義、分類、生成、編集、逆算の5次元で評価する新指標です。
そのアプローチって、具体的にはどういう仕組みなんですか?
レシピを覚えるだけでなく、実際に料理や材料の逆算まで試すイメージで、自動生成パイプラインが動的に問題を変換します。
正解を導くだけでなく、ルールを操作や逆転させる発想まで問うんですね!
固定ペアに依存しない評価を実現し、モデルが形式的なルールをどう処理しているかを可視化しています。
従来の評価と比べて、どれほどの差が生まれたんですか?
最高峰モデルでも25〜52ポイントの性能差が開き、標準評価で同じ順位でも評価軸が変われば順位が入れ替わります。
手作業で作成された独立テストセットでは、どの次元でも1〜8パーセントしか正解が出なかったんですか?
はい。1〜8パーセントという数字が、現在のモデルが抽象ルールを本当に習得できていないことを如実に示しています。
でも、グリッドパズルに特化した評価を増やしたところで、結局根本的な解決にはなっていないんじゃないですか?
その通りです。モデルは正解グリッドを出力しながらも、自身が述べた形式ルールと自ら矛盾する行動を頻繁に取ります。
自分で試す場合は、どこから手を付ければいいんですか?
GitHubで公開されているコードベースをクローンし、生成パイプラインを実行してから各モデルに投げてみてください。
多角的な計測が、真の抽象的スキル習得に必要不可欠な能力を評価できるはずです。
ARC-AGI-1の訓練セットで25〜52ポイントの性能差が見られました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。