VASPOが数学推論で PPO を 1.81〜2.59ポイント上回る精度を出した
この記事のポイント
- 教師信号が局所的なトークン選好を反映する
- PPO内で教師と批評家を統合する手法を開発
- 6ベンチでPPOを上回る。Knights and Knavesのみ最高
どこで使えるか
数学推論でPPOを上回る精度を出したい人向け。教師と批評家が同じ情報で評価する仕組みが効く。 GitHubで公開済み 数学推論ベンチマーク6つで評価
スポンサーリンク
解説
かみくだいて説明します
Fei Wuらの研究チームが、2026年10月15日にarXivへ論文を公開しました。推論能力を持つAIモデルの学習手法VASPOを提案しています。既存の手法ではモデルが自分の生成過程を教師として使う自己蒸留が使われていましたが、この手法はPPOという学習アルゴリズムの中に組み込む形で統合しました。
自己蒸留とPPOを組み合わせるということですが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか?
正確には、AIが答えを一つずつ作り出す過程で、すでに生成した部分の情報を使って、次に続く部分の価値を評価する方法です。例えば、長い計算問題を解くとき、最初の数行は正解に近づいていても、途中から外れてしまうことがあります。VASPOではその途中の迷いを補正しながら、最後の答えまで正しい方向へ導きます。
なるほど、途中の迷いを補正するんですね。では、作る人から見ると、手元で動かすのに何が要りますか。公開されていますか。
コードはGitHubで公開されています。学習には既存のPPOの環境をそのまま使えますが、追加で値推定モデルを一つ用意する必要があります。
値推定モデルを一つ追加するだけなんですね。では、研究する人から見ると、これまでは何ができていなかったんですか。
従来はモデルが自分の生成を教師にする際、局所的なトークンの好みしか反映されず、最終的な正解への見込みが測れていませんでした。VASPOでは批評家が続きの返答の価値を予測し、自己教師が確率比で正の利益を調整します。この二つの役割が位置によって補い合うため、精度が安定して上がります。
批評家と自己教師が役割を分担するんですね。数字を教えてください。どれくらい精度が上がったんですか。
数学推論のベンチマーク6つで評価しました。Qwen3-4Bで平均正解率がPPOを2.59ポイント上回り、OLMo3-7Bで1.81ポイント上回りました。Knights and Knavesでは評価した手法の中で最も高い平均正解率を達成しています。
2.59ポイントと1.81ポイントの向上なんですね。では、AIを使う側から見ると、使っている道具のどこが変わりますか。
Qwen3-4BとOLMo3-7Bでは、同じ仕組みを使うPPOと比べて平均の正解率がそれぞれ2.59ポイントと1.81ポイント上がっています。
実務への速度やコストはまだ不明なんですね。最後に、今後の見通しはどうなりますか。
六つの数学推論ベンチマークで精度が上がり、コードも公開されています。
あわせて、先月に出た別の研究も、オンポリシー自己蒸留による密な指導信号を活用するという同じやり方を使っています。
出典
この記事のもとになった情報
- arXiv:VASPO: Self-Distillation with Privileged Value Estimation
- 公開日:2026-10-15
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。