半事実的な介入でトークンの揺れを測り、不安定な部分の重みを抑えて学習する

論文

半事実的な介入でトークンの揺れを測り、不安定な部分の重みを抑えて学習する

スポンサーリンク

SCAPOがQwen3-4BでAIME正解率を5.63ポイント向上

この記事のポイント

  • GRPOは不要な依存を強化する
  • 安定スコアで不安定トークンの利得を減らす
  • Qwen3で数学ベンチ最高。ただし安定のみでは利得なし

どこで使えるか

トークン単位の信用配分を細かく制御したい人向け。GRPOの均等利点を改善し、数学ベンチで最高性能を達成。 GitHubで公開済み

スポンサーリンク

解説

かみくだいて説明します

Junshu Panらの研究チームが、2026-10-01に大規模言語モデルの推論能力を高める新しい学習手法、SCAPOを発表しました。既存のGRPOという手法は回答を構成するすべての単語に同じ重みを付けていましたが、SCAPOは問題文のわずかな書き換えに対して答えが安定している単語ほど訓練での信用を高くし、安定していない単語の信用を下げます。Qwen3-4B-BaseとQwen3-1.7B-Baseというモデルで試したところ、数学の基準テストAIME 2024-2026での正答率がGRPOを上回る方法と比較して、それぞれ5.63ポイントと4.17ポイント向上しました。
問題文を少し書き換えて安定度を測るんですね!それを学習の重みに直接反映させるのですか。
反映はしますが、安定しているからといって特別に加点するわけではありません。あくまで不安定な単語の重みを下げる形で、誤った関連付けが学習されるのを防ぐ仕組みです。ただし、この安定性の測り方自体が専門的な計算になるため、現場で組み込む場合に計算コストがどれくらい増えるかは、材料に具体的な数値がありません。そこはまだ分かっていません。
なるほど、ペナルティ主体の設計ですね!開発者が手元で動かす場合、既存のGRPOから置き換えるのは容易ですか。
リソースの増加分については材料に記述がありませんが、Qwen3-4B-Baseと1.7B-BaseでAIME 2024-2026の精度がそれぞれ5.63、4.17ポイント向上し、ほとんどの数学ベンチマークとOODベンチマークで最良の結果を達成しています。
確かに、リソース増が材料にないのは開発者にとって気になる点です!研究者の立場から見ると、従来の手法と比べてどこが新しい成果と評価されるんですか。
従来のGRPOは回答を構成するすべてのトークンに同じ利益配分を行っていましたが、SCAPOは文脈の書き換えに対して答えがぶれない単語だけを重点的に信用する点です。つまり、モデルが問題の核心だけを捉えて推論するよう導く信号を、より細かく設計したことになります。
核心だけを捉える信号を細かく設計した、ということですね!専門用語が多くて少し掴めません。たとえで説明していただけますか。
分かりやすい例で言うと、試験の問題文の語順を少し入れ替えても答えが変わらない生徒だけを重点的に褒めるイメージです。問題文の裏表や表記を変えても正解を導ける単語だけを信用し、たまたま正解に結びついた単語は信用しないことで、本質的な推論力を鍛える仕組みです。
本質的な推論力を鍛える仕組み、ということですね!では、この手法が適用されるモデルの規模や種類について、今後の展開はどうなっていますか。
現在はQwen3-4B-BaseとQwen3-1.7B-Baseという2つのモデルで検証が完了しています。より大きなモデルや、数学以外の分野への適用結果については、材料に記述がありません。そこはまだ分かっていません。
コードはすでに公開されているんですか。
はい、GitHubに公開されています。ただし、公開日やライセンスの詳しい条件までは記載がありません。そこはまだ分かっていません。
最後に、実用化に向けて残されている課題を一言で言うとどうなりますか。
要旨に書かれているのは、SCAPOが半事実的安定性を用いたトークンレベルの信用配分により推論能力と汎化性能を向上させることを示したという点です。実用化の課題や速度低下については触れられていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文