ReCalが、構造化プルーニング後の推論モデルの数学的推論能力を最大16.7ポイント回復させた
この記事のポイント
- オフライン蒸留後も能力低下が残る
- 教師の予測を維持する重み調整
- 数学推論が回復。ただしコード生成は限定的
数字で見る
この記事に出てくる数字
| AIME向上 | 16.7ポイント |
|---|
どこで使えるか
プルーニング後の推論モデルで数学的推論力を回復させたい人向け。オフライン蒸留後の能力低下が残る場合に有効。 arXivで論文公開済み コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
Houcheng Jiangらの研究チームが、2026年10月8日にarXivへ論文を公開しました。推論を行う大規模言語モデルを圧縮する構造化プルーニングの手法について、その後の学習による能力回復を妨げていた問題を、RECALという新しい前処理で解決します。
圧縮しても回復できなくなるんですね。では、このRECALは既存の圧縮手法の上にそのまま乗せる形になりますか。
そうです。プラグインのように既存の手法に追加するだけで、特別な組み替えは要りません。圧縮する前にモデルの重みを調整する段階を挟む仕組みです。
重みの調整って、具体的に何を基準にやるんですか。
圧縮前の本来のモデルと、圧縮して試したモデルの答えのズレを計算します。フォワードKLダイバージェンスという指標を使います。試験の答え合わせで、圧縮前の正解と圧縮後の答えを照らし合わせて、大きく外れている箇所を見つける作業です。
壊れやすい答えを守るために基準をずらすんですね。そこがまだ掴めません。
正確には圧縮の基準そのものを変えるのではなく、どの答えを優先するかという重みを調整します。普段の学習で使う統計的な値に、守るべき答えの重みを上乗せするイメージです。
守るべき答えに重みを上乗せするんですね。では、数学以外のコード生成の分野ではどれくらい変わりますか。
ほとんどのコード生成の比較で改善が見られました。数学のベンチマークAIMEで最大およそ16.7ポイント伸びたのに対し、コード生成の方は具体的な数字の上限は示されていません。そこはまだ分かっていません。
数学は大きく伸びて、コードは明確な数字がないんですね。では、この調整はどのくらいのモデルサイズまで対応していますか。
複数のモデルと複数の圧縮手法で試した結果です。具体的なモデル名やパラメータ数については触れません。大きさに関わらず同様の効果が確認できたと報告しています。
大きさに関わらず効果が確認できるんですね。最後に、この手法が実用化されるまでにはまだ時間がかかりますか。
論文では再現性のある結果だと評価していますが、実際に現場で使えるようになるまでの具体的なスケジュールについては、まだ触れていません。
出典
この記事のもとになった情報
- arXiv:ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。