Belief-Shift Branchingは、OLMo-3-7Bで数学が+2.6、コードが+6.5向上した
この記事のポイント
- 構造やエントロピーで分岐
- 信念が最も変わる地点で分岐
- 数学ではOLMo-3-7Bで+2.6
どこで使えるか
信念の切り替わりを検出したい人向け。数学で約1%、コードで5%未満の追加コスト arXiv:2609.11061で論文公開済み モデル重みは非公開。検証用コードは記載なし
スポンサーリンク
解説
かみくだいて説明します
Bin Lei さんのチームが arXiv に公開した論文で、AI の答え生成過程でどこで分岐させるかが性能を左右します。木構造の強化学習で確信度が最も変わる地点で枝を分け、数学とコードで OLMo-3-7B を検証した結果、数学の集計スコアで +2.6、AIME 2026 で +2.9、LiveCodeBench-medium で +6.5 の向上を記録しました。
分岐の位置が結果を左右するんですね。既存の方法ではどこを見て枝を分けていたんですか。
多くの手法は区切り文字や中間点、あるいは次のトークンの揺らぎで決めていましたが、今回のチームはモデルが自分の答えをどこで切り替えるかを見ることにしました。確信度が連続して最も離れる地点の手前で分岐させることで、結果が決まってから分岐して信号が出ない無駄を減らしています。
確信度の変化を見るだけで、正解を一つずつ評価しなくて済むわけですね。
そうです。実用上のオーバーヘッドは小さく抑えられています。数学の分野ではステップあたりの計算量のおよそ 1%、コードでは 5% 未満です。
では、実装の手間は増えないのに、信号の精度だけ上がるわけですね。この手法は研究者が自分で動かす前提ですか、それとも既に組み込み済みの仕組みですか。
3 種類の読み取り方に対応しています。一つは外部から黒箱で確信度を測る方法、一つはモデルの内部層の出力を見る方法、もう一つは学習済みの方向性を使う方法です。学習済みの方向性は強化学習の訓練前だけ使うため、実際の学習中は黒箱か内部層の読み取り方を使います。
内部層の出力を見る方法が少しイメージしにくいんですが、モデルの頭の中を覗くような感じですか。
そうです。例えば辞書を引くたびに使う単語の頻度を記録するシステムに例えると、黒箱は引いた結果だけ見るのに対し、内部層の読み取りは辞書をめくる指の動きまで観察する感じです。指の動きを見れば、答えが決まる直前で迷っている部分を正確に捉えられます。
迷いどころを正確に見極めて、そこでだけ枝を分けるわけですね。
比較対象は確率の揺らぎや構造ベースの分け方、そして別の AI が採点する手法でしたが、8 つ全ての組み合わせで最上位を記録しています。具体的な差の数字までは論文に明記されていません。
確信度の変化を分岐の合図にする発想は、強化学習の設計を根本から変えそうです。最後に、この手法は他のモデルや異なる領域にもすぐ適用できる見込みですか。
モデルファミリーは3つ、ドメインは数学とコードの2つで検証済みです。これら3モデル×2ドメインでの結果が、手法の有効性を裏付けています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。