CogGymが公開。50モデルの人間類似度は最高でも0.59で、人間の信頼度に遠く及ばない
この記事のポイント
- モデルと人間の判断の類似性が不明
- 258実験で50モデルを評価
- テキストR2=0.59が最高
数字で見る
この記事に出てくる数字
| 実験数 | 258 |
|---|---|
| 論文数 | 100 |
| モデル数 | 50 |
どこで使えるか
モデルの人間類似度を体系的に評価したい人向け。258実験で50モデルを比較可能。 arXivで公開済み 258実験、50LLMの評価結果付き
スポンサーリンク
解説
かみくだいて説明します
AIが人間の思考に近づくって話、よく聞きますが、実際にどこまで似ているのか定量的に測るのって難しいですよね?
確かにその通りです。認知科学とAIは知能の解明を共通の目標にしていますが、人間のタスクの幅広さをそのままモデルに当てはめるのは容易ではありません。
既存の評価指標だと、数学やコードの正解率ばかりが注目されがちじゃないですか? 日常の常識推論まで含めようとしたときに、何が壁になるんですか?
多様な実験手法を標準化して、モデルと人間の行動を大規模に比較可能にするのがCogGymの役割です。
そこでarXivで公開されたのがCogGymです。認知科学に基づき、モデルと人間の行動を一致した実験条件で比較するフレームワークです。
そのアプローチって、具体的にはどういう仕組みなんですか?
半自動の人間関与パイプラインで、多様な実験パラダイムをタスク非依存のEMLという標準フォーマットに統一します。工場のラインに流す部品のようなもので、形状が違っても同じ治具で測定できるイメージです。
規格を合わせるだけで、異なる分野の実験を横断的に比較できるんですね!
まさにその通りです。EMLという標準化された形式に統一することで、実験ごとの違いを排除し、モデルと人間の反応を公平に比較することが可能になります。
実際の比較結果で、どれほどの差が確認されたんですか?
100本の論文から258の常識推論実験を収集し、50種類のLLMを評価しました。モデルが大きくなるほど人間の評価を再現しますが、数学やコーディングのベンチマークほどの急成長は見られません。
人間の判断の安定性と比べて、モデルはどこまで追いついているんですか?
人間の半分のグループ間信頼度はテキストでR² = 0.93、画像で0.95、動画で0.92ですが、最上位モデルでもテキスト0.59、画像0.58、動画0.43にとどまります。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。モデルと人間の一致度は人間の半分以下の信頼性にとどまっており、特にテキストや画像では0.59、動画では0.43にとどまっています。これは限られた範疇での話ですが、完全な知能のクローンとはまだ程遠いと言えます。
研究者が実際にこのフレームワークを試すには、どうすればいいんですか?
EML形式で実験を標準化し、50のモデルを258の実験で評価しています。モデルの振る舞いをどう比較しますか?
初回リリースでは常識推論に限定されますが、モデルの振る舞いを比較する生きた評価基盤として、認知科学の実験を継続的に取り込んでいきます。
モデルと人間の振る舞いの類似点や相違点、そしてその変化を明らかにします。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。