Best-of-Nの評価でバイアスをなくすHoldout手法、モデルの選定コストを測る話

論文

Best-of-Nの評価でバイアスをなくすHoldout手法、モデルの選定コストを測る話

スポンサーリンク

Holdoutが Best-of-N の評価でバイアスなしの手法だと証明された

この記事のポイント

  • Best-of-N選定スコアは過大評価される
  • 固定行列から独立スコアを用いた評価手法を提案
  • unbiasedな評価が可能だが、追加スコアが必要

数字で見る

この記事に出てくる数字

計算量 O(MKlogM)

どこで使えるか

コードの公開は記載なし 理論値の算出に計算資源が必要

スポンサーリンク

解説

かみくだいて説明します

Shrey Shahらのチームが arXiv に 2026-10-07 に公開した論文で、AI が複数の回答の中から一番良いものを選ぶ Best-of-N という手法の評価方法について、見かけ上の性能が過大評価されやすいことを示しました。
過大評価されやすいというのは、選んだ時の点数をそのまま当てはめると実際より良く見えてしまうということですか?
そうです。選出に使う点数と評価に使う点数を同じくすると、どうしても選ばれやすい回答が有利にカウントされてしまいます。そこで研究者たちは、選出に使わなかった独立した K 個の点数の固定行列だけを使って評価する Holdout という手法を提案しています。
選出に使わなかった点数だけを使うんですね。では、作る側から見ると、評価に追加で何個の点数を準備すれば正確に測れるんですか?
選出に使う fresh な点数の数を J としたとき、正確に測れるのは評価用の点数 K が J より大きい場合です。準備する点数が J より 1 個以上多い条件が成り立ちます。
なるほど。では、評価の精度は点数を多くするほどどう変わるんですか?
独立ガウス分布で分散が共通のとき、不偏な見積もり方法に限ると誤差はσをルートKで割った大きさで、偏りを認めるとσをKで割った大きさまで良くなります。
試行回数を増やすほど偶然のズレが小さくなるんですね。バイアスを許すと精度はさらに上がるんですか?
はい。無偏推定量では σ² をルート K で割ったオーダーですが、バイアスを許容すると σ² を K で割ったオーダーまで改善できます。2 候補の場合の最小分散無偏推定量や、分散を知らなくても Holdout が達成する限界定数 1 割る π ルート 2 も導出しています。
計算量はどれくらいになるんですか?
サブセットと同点の場合の平均値を循環で求める演算は、候補数 M と点数 K を使って O MK log M で計算できます。固定の選出深さであれば、有界な点数の循環評価は O K^-1 で、候補数 M に依存せずに抑えられます。
候補数が増えても計算コストが増えすぎないんですね。最後に、この手法の限界は何か分かっていますか?
固定行列だけを使う場合の不可能性として、勝者の点数を1つ追加で取得できれば、全てのK個の点数を使ったポリシーの評価も無偏にできることが示されています。この結果は、固定された評価行列という前提における理論的な限界を示すものです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文