LLMを判定基準に知的能力を測るテスト Artificiality、超知能領域の評価手法

論文

LLMを判定基準に知的能力を測るテスト Artificiality、超知能領域の評価手法

スポンサーリンク

「Artificiality」が超知能領域のテスト項目を生成。LLM12モデルに実施し特性曲線を導出。

この記事のポイント

  • 従来のCテストはUTMベースで知識が欠けた
  • LLMを参照機械としたLevinのKtテストを初提案
  • 12モデルで高難易度領域まで測定。ただし未解決

数字で見る

この記事に出てくる数字

推定難度 bits
テスト対象 12LLM

どこで使えるか

超知能領域のテストを自前で生成したい人向け。LLMを参照機械として難易度を制御可能 arxivで公開済み 生成パイプラインは論文に記載

スポンサーリンク

解説

かみくだいて説明します

Jose Hernandez-Orallo氏がarXivに発表した論文で、人工知能の能力を測る新しい試験の仕組みを提案しました。この試験はレヴィンのKtという理論を基に作られていて、難易度をビットという単位で測ります。
ビットで難易度を測るんですか? 今までの試験と比べて、どこが新しくなったんですか?
今までの試験は人間や現在の人工知能に合わせて難易度を調整していましたね。それだと飽和してしまうので、今回は逆問題という形で、答えから元の仕組みを推測する問題を出題します。たとえるなら、完成した家を見て、建築図面を逆算するようなものです。
建築図面を逆算する、ですね。逆問題って具体的にどう出すんですか? まだ掴めません。
分かりやすく言うと、答えの羅列を見せて、その並びを生み出したルールを当てる問題です。人間が暗記した法則ではなく、機械が持っている知識をどれだけ引き出せるかで点数が決まります。
機械が持っている知識を引き出す、ということですね。では、その知識を動かす試験官は、何を使うんですか?
正確には、大規模言語モデルを使います。大規模言語モデルは膨大な人間の知識を内蔵していて、プロンプトを自然言語のプログラムとして動かすことができます。つまり、問題の生成と判定を大規模言語モデルに任せるわけです。
試験官が大規模言語モデルだと、試験を受ける側も大規模言語モデルですよね? 両方が同じ機械だと、答えを事前に知っていませんか?
そこはまだ分かっていません。ただし、この論文では問題の生成と認定を自動化する軽量なパイプラインを提案しています。実際に12の大規模言語モデルに試験を実施した結果、難易度が高くなるほど正解率が下がる曲線が得られました。
12の大規模言語モデルで試したんですか? 正解率が下がるのは当然ですが、どのくらいの差がついたんですか?
正確には、人間や最先端のモデルがまだ解いたことのない高難易度領域まで、正解率が低下していくことが確認できました。この領域を論文では超知能の窓と呼んでいます。
超知能の窓、つまりまだ誰も解いたことのない問題が測れる、ということですね! では、現場でこの仕組みを組み込む場合、計算リソースはどれくらい必要になりますか?
問題の生成は自動化されているので、人間が一つ一つ作る必要はありません。難易度はビットという比率尺度で評価されるため、理論的な上限が明確です。
理論的な上限があるからこそ、飽和せずに新しい問題を作り続けられるわけですね。最後に、この試験は実際に使われているんですか?
現時点では研究用の基準として提案されている段階です。試験官と受験者の能力の差が結果にどう影響するかについては、引き続き検証が必要です。
あわせて、先月にはAIの能力向上を測定するベンチマークに取り組む別の研究も出ています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文