GPT-5.6-Solの物理正解率が CritPt 54 問で 94.4% に跳ね上がった
この記事のポイント
- 物理ベンチの点数は低めとされる
- 専門家が解答と設問を再評価し
- 修正後のHLE-Physicsは78.7%
どこで使えるか
物理の問題を自前で解きたい人向け。既存ベンチが過小評価している 論文の要旨に記載なし GPT-5.6-Solのスコアは修正後の値
スポンサーリンク
解説
かみくだいて説明します
Ali Ansariらの研究チームが 2026 年 9 月 12 日、主要な物理学のベンチマークで AI の得点が低めに出ている実態を専門家の手でやり直した結果を発表しました。GPT-5.6-Sol の HLE-Physics での平均正解率が 47.3% から 78.7% に、CMT-Benchmark では 61.0% から 87.2% に跳ね上がり、CritPt の 54 問に限定した修正後の正解率は 94.4% まで達しています。
低いと思っていた正解率が、専門家が見直すとこんなに上がるんですか。元の答えが間違っていたり、問題自体がおかしい部分があったということですね。
正確にはその通りです。問題文が曖昧だったり、参考解答に誤りがあったりして、本来 AI が間違えたわけではないケースを多く切り分けた結果です。
研究する人から見ると、これまで何ができていなかったとされていたんですか。
大半のケースはモデルの物理推論の誤りではなく、ベンチマークの採点基準に問題があったとされています。そこで専門家が一つずつ確認して、正しい答えに書き直す作業を行いました。
専門家が一つずつ目を通すというのは、つまり手作業に近い作業ですよね。
そうですね。ただ対象になる問題が膨大なので、今回は代表的な 6 つのテストに絞って検証しました。その中で UGPhysics や PRISM-Physics、PHYBench といった他のテストでも、修正後は大幅に点数が上がっています。
作る人にとって、このやり直しの結果は現場のモデル開発にどう響きますか。
閉じた問題ではすでにほぼ満点に近い状態なので、これ以上の精度向上を狙うには、もっと自由度の高い問題を作るか、専門家が検証した新しい評価基準が必要だと結論づけています。
閉じた問題というのは、試験で答えが一つに決まっているタイプのことですよね。
そうです。あらかじめ正解が決まっている形式に限られているので、それ以上の差をつけるには、もっと自由度の高い問題が必要だと結論づけています。
では、AI を使う側の人から見ると、今の段階で実務に組み込める見込みはありますか。
定型の物理計算や既知の法則を扱う作業であれば、すでに実用に耐えうる水準に達していると見てよいでしょう。ただ問題が複雑になったり、前提条件が不明確になったりした場合は、まだ正解を出せないケースが残っています。
最後に、これから評価基準をどう変えていく予定ですか。
要旨には、専門家による検証を通常の開発プロセスに組み込む方向性や、自動採点だけに頼らない仕組みを標準化する動き、具体的なスケジュール、どの組織が主導するかについての言及は一切ない。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。