DeepSeek-R1からQwen2.5-7Bに知識を移す知識蒸留、数学の問題で精度を上げる話

論文

DeepSeek-R1からQwen2.5-7Bに知識を移す知識蒸留、数学の問題で精度を上げる話

スポンサーリンク

DeepSeek-R1からQwen2.5-7Bへの知識蒸留で、精度が69.43%に向上。

この記事のポイント

  • 大模型の知識を小模型に転移する手法
  • CoTデータで200反復まで学習を制限
  • 精度は向上。ただし推論レベル6では低下

数字で見る

この記事に出てくる数字

教師モデル精度 91.40%
学生モデル精度 69.43%
MATH-500精度 73.1%

どこで使えるか

知識蒸留で精度を上げたい人向け。200反復で5回実行し安定性を確認 arXivで論文公開済み Apple Silicon+MLX限定、LoRA微調整

スポンサーリンク

解説

かみくだいて説明します

Gaurab Baral さんたちのチームが、大きな推論モデル DeepSeek-R1 から小さなモデル Qwen2.5-7B に知識を引き継ぐ研究を発表しました。ノースケンタッキー大学の数学コンテストの問題 2011-2025 年分を使って Chain-of-Thought という思考の過程を記録した学習データを作り、Apple のチップで動く MLX という枠組みで Low-Rank Adaptation、通称 LoRA という手法で書き換えました。
引き継ぐというのは、答えをそのまま教えるのではなく、どう考えて答えにたどり着いたかの過程を真似るということなんですか?
そうです。最終的な答えだけを暗記するのではなく、式をどう立てて計算したかの過程をそのまま写すイメージです。
なるほど、過程を写すんですね。では、思考の過程を作る学習データは、どうやって用意するんですか。
2 つのエージェントが協力するフレームワークを使って自動で作成しています。初期の 1,000 回の学習では過学習が起きて 200 回で頭打ちになったため、最終的には 200 回の学習を 5 回繰り返す形に落ち着きました。
200 回で止めるのが正解だったんですね。精度はどのくらい上がったんですか。
書き換え前のベースモデルが 64.67% だったのに対し、書き換え後は平均 69.43% になりました。およそ 4.76 ポイントの向上です。別の数学のテスト MATH-500 でも 73.1% を記録しました。
4.76 ポイントの上昇は確かにありますね。ただ、答えを長く書けば書くほど精度が下がるというのは、使う側からすると扱いにくい点じゃないですか。
その通りです。短い答えを求められる 6 段階の推論レベルのうち、最後の R6 では平均 31.2 語で精度が 41.9% まで落ちました。対話形式の速答セクションが特に影響を受けました。
速答の場面では精度が保てないということですね。研究している人から見ると、この長さの制限をどう乗り越えるのが次の課題になりますか。
長さの制限の中でも精度を保つ学習方法の改良が課題です。現時点では 200 回の学習で安定する理由や、より短い出力に対応させる具体的な手法については、そこはまだ分かっていません。
最後に、この手法は数学以外の分野にも応用できる見込みはあるんですか。
数学コンテストの問題だけで検証した結果であり、他の分野でも同じ傾向になるかは要旨からはわかりません。
あわせて、今月には大規模モデルの推論能力をコンパクトなモデルへ蒸留する課題に取り組む別の研究も出ています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文