METRの50%タイムホライズンを再計算する手法、推論能力を時間で測る話

論文

METRの50%タイムホライズンを再計算する手法、推論能力を時間で測る話

スポンサーリンク

METRのタイムホライズン再計算が、228タスク26AIで推論能力を時間で測る手法を改善した

この記事のポイント

  • タスクの難易度と人間の所要時間の関係が線形と仮定されていた
  • 228 件のタスクでスプラインと項目反応理論を用いて再計算した
  • 人間の時間を AI 難易度に変換する関数は 2〜30 分で平坦になる

数字で見る

この記事に出てくる数字

確率 50%
タスク数 228
AI数 26

どこで使えるか

AIの推論能力を時間で測る指標を改善したい人向け。スプラインと項目反応理論で再計算する arXivで公開済み METRの50%時間軸の再計算結果

スポンサーリンク

解説

かみくだいて説明します

Drew T. Nguyenらの研究チームが、2026年10月9日にarXivに論文を発表しました。AIがソフトウェアのタスクを50%の確率で解けるまでの人間の作業時間を測る指標について、228のタスクと26のAIを使って統計的な見直しを行いました。
AIがタスクを半分で解けるまでの時間、なんですね。それだと、AIの能力を人間が分かりやすい単位で表せるんですか?
そうです。人間の作業時間からAIの難易度を読み取る関数として使います。従来の方法では時間の対数と難易度が比例すると仮定していましたが、今回の分析ではスプラインという曲線当てはめと項目反応理論を使って、その仮定を緩めました。
項目反応理論やスプライン、聞きなれない言葉が続きますが、結局何が言えるんですか?
人間の作業時間をAIの難易度に変換する関数です。地図の等高線が急に変わる場所とゆるやかな場所があるイメージで、2分から30分の間は難易度がほぼ横ばいになりますが、30分を超えると人間の時間に対してほぼ直線的に上がります。つまり、3分から30分への10倍の伸びは、30分から5時間への10倍の伸びよりもずっと簡単だということです。
同じ10倍でも、伸びしろが違うんですね。それは現場で使う技術者にとって、どういう意味があるんですか?
AIを組み込む側の技術者は、指標の選び方に注意が必要です。従来の対数直線仮定だと、短い時間の差を過大評価したり、長い時間の差を過小評価したりする恐れがあります。今回の推定値はクロスバリデーションによる評価基準で従来より精度が上がっています。
精度が上がった推定値なんですね。ただ、それだけだと使い方次第で誤解しそうですが、論文ではどう解釈するよう提案しているんですか?
診断用のグラフとセットで読むべきだとしています。新しいベンチマークが提案されたり、既存のベンチマークに長いタスクが追加されたりする際は、グラフで構成の有効性を確認してから指標を使います。
グラフで確認してから使う、ということですね。推定値とグラフ、両方揃っていない場合はどうなるんですか?
そこはまだ分かっていません。論文では診断グラフを推奨していますが、グラフなしで単独の推定値だけを使う場合の限界については、具体的な数値や代替案までは示していません。
最後に、この指標が今後どう発展するか、見通しはありますか?
既存のベンチマークが長いタスクを含むよう成長する際には、診断グラフと時間地平を併せて解釈することを提案します。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文