選択肢の並びを共有する制御変数、多肢選択の正解率を測る話

論文

選択肢の並びを共有する制御変数、多肢選択の正解率を測る話

スポンサーリンク

選択肢の並びを共有する制御変数が、多肢選択の正解率で最大19.4ポイントの余地を残した。

この記事のポイント

  • 選択が利益を生む理由が不明
  • 32プログラムで2モデル4413題を評価
  • Qwen3-4B-Baseで10.2-11.8pt

数字で見る

この記事に出てくる数字

層スキッププログラム数 32

どこで使えるか

多肢選択で正解率を上げたい人向け。選択肢の並び順に注意する 論文の公開のみ。コード非公開

スポンサーリンク

解説

かみくだいて説明します

Yibei Guoらの研究チームが2026年10月8日に公開した論文です。言語モデルの推論を改善する手法を、4,413問の多肢選択問題で検証しました。各入力に合わせて動作を調整するプログラムが本当に効果があるか、入力を見えない状態のコントロールと比べてみました。
入力を見えない状態のコントロールというのは、具体的にどう作るんですか?
正解の答えを使わずに、同じ場所の計算をランダムに書き換える操作です。テストの答え合わせをせず、解答欄の文字を適当に入れ替えてから再採点するようなイメージです。これに実物のプログラムが選んだ層の効果を比べたところ、コントロールの方が上回る結果が出ました。
実物のプログラムより数値が高くなるんですか。モデルによっても違うんですか。
はい。Qwen3-4B-Baseではコントロールが10.2から11.8ポイントの差を示し、Llama-3.1-8Bでは15.6から19.4ポイントでした。一方、実際に選ばれたプログラムの効果はそれぞれ9.0ポイントと10.1ポイントです。選択肢の並び順を固定した場合、コントロールが実物を上回るケースが全ての乱数方向で確認されました。
実物のプログラムが負けるのは意外です。研究している人から見ると、どこが新しい知見になるんですか。
選択肢を並び替えると実物もコントロールもheadroomが大きく縮むが、それでも実物がコントロールを上回る差は残ります。
並び順次第で結果が変わるなら、実物のプログラムは参考にならないんですか。
意味がないわけではありません。選択肢を回転させた場合でも実物のプログラムは1.4から2.3ポイント、3.7から4.5ポイントの正味の差を残しています。問題文を言い換えた後の追加テストでは、検索で選んだプログラムが26.0ポイントの差を保ちました。ただし統計的な裏付けは補正の仕方によって変わります。
作る人にとって、次の実験はどう進めればいいんですか。
生成回答テストでは、他の問題用に選ばれたプログラムをリライトしたものと比較し、プラセボ対照なしで26ポイントの優位性を維持していました。
最後に、実用化のタイミングはいつ頃に見えていますか。
実用化の時期を定めるのは早すぎます。論文では、実物のプログラムが正解を使うオラクル評価で示す潜在能力が、入力盲のコントロールでも再現されることを示した段階だからです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文