Qwen3-1.7Bの推論能力を上げる教師付き学習で、特別情報に何を加えるか

論文

Qwen3-1.7Bの推論能力を上げる教師付き学習で、特別情報に何を加えるか

スポンサーリンク

AMPLE-Mathの実験で、Qwen3-1.7B の推論向上は教師付き学習自体が大部分を占めた。

この記事のポイント

  • 5319題で6視点のデータセットを構築
  • Qwen3-1.7Bでは参照なしが大半を占める
  • SmolLM3-3Bの50ステップで2ポイント増加

数字で見る

この記事に出てくる数字

問題数 5,319

どこで使えるか

思考付き推論と直接応答の両方で改善を図りたい人向け。教師の出力形式に依存せず学習できる。 コードの公開は記載なし 2ポイント向上は50ステップ時のみ

スポンサーリンク

解説

かみくだいて説明します

XiuYu Zhangらの研究チームが 2026年9月18日、オンポリシー自己蒸留という手法について、5,319問の数学問題を使った実験結果を発表しました。教師モデルが答えや解き方を見ている状態で生徒モデルを訓練すると、Qwen3-1.7Bの性能が上がる一方、追加で参考資料を与える効果は思ったより小さいことが分かっています。
なるほど、教師が見ている状態で訓練するんですね。参考資料の効果が少ないというのは、結局答えを丸ごと見せるより、考えさせる方が効くということですか。
正確には、先生が生徒の答案用紙を見て添削するようなイメージです。参考資料なしで訓練するだけでも性能の大部分は伸びますが、磨き上げた解き方を見せると、さらに少しだけ上乗せされる傾向があります。
先生が答案を見て添削する、つまり答えの正誤を一つずつチェックするイメージですね。作る側からすると、この添削を回すのに、計算資源はどれくらい必要になるんですか。
添削というよりは、答えを生成する過程そのものを参考にするのが正確です。報告されているのはQwen3-1.7BとSmolLM3-3Bの2つのモデルでの結果だけで、追加の計算コストについての言及はありません。
そうですか。では、SmolLM3-3Bでステップ50の時点で2ポイント伸びたという数字は、実用上どれくらいの意味があるんですか。
2ポイントの伸びは確かに確認されましたが、条件を変えると逆転します。長い思考過程を生成させるように切り替えると、同じ問題と参考資料でも逆効果になるケースが両方のモデルで出ました。トークン単位の指導内容を変えても、つまり一文字ずつの正解率を調整しても、生徒モデルの振る舞いはほとんど変わらないようです。
参考資料を詳しく見せても振る舞いは変わらない、つまり答えをなぞるだけになっているということですね。では、この手法を現場で使う場合、どこに重点を置けばいいんですか。
重点はパラメータの共有にあります。直接回答と思考を伴う回答で同じ重みを使うことで、既存の推論能力へのアクセスを改善するのが主目的です。参考資料の価値は、答えをどれだけ開示するかではなく、この横断的な転送をどれだけ助けるかにあります。つまり、片方の道で得た運転技術を、もう片方の道にそのまま持ち越すようなものです。
答えの開示量ではなく、技術を別の道に持ち越すかどうかが鍵ですね。では、この持ち越しをスムーズにするには、どのような訓練データが有効だと考えられますか。
直接回答のデータが有効だと示唆されていますが、具体的なデータ構成や最適な比率については、まだ分かっていません。
最後に、この手法が実用段階に入るには、あと何が整えばいいと思いますか。
要旨には、OPSDが既存の推論能力へのアクセスを改善し、特権的参照の価値はそれがクロスモード転送に追加するものだとあります。この知見に基づけば、参照情報よりも推論能力の引き出し方が重要であることが示唆されます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文