OBC-Pruneが、誤った推論の重みを残さず Large Reasoning Model を圧縮した。
この記事のポイント
- 正解・不正解を区別せず剪定していた
- 正答・誤答ペアで因果重要度を計測
- 大半のサイズ・スパシティで改善
数字で見る
この記事に出てくる数字
| スパースティ | 40%, 50% |
|---|
どこで使えるか
推論コストを下げつつ精度を維持したい人向け。因果重要度で重みを再調整し、誤推論の重みを残さない arXivで公開済み コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
最近のLLMは回答前に長い思考プロセスを生成しますよね?
確かにその通りです。長い思考プロセスを生成するモデルは、推論コストが大幅に増えます。
既存のモデル軽量化手法だと、重要な重みと不要な重みの区別が難しいんですよね?
その通りです。既存手法はモデルが生成した推論データを一律で評価するため、誤った計算経路を支える重みまで残してしまいます。
今回arXivに公開されたOBC-Pruneは、この課題を解決する手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
正解と不正解の推論パスを難易度で揃えてペア化し、各文を意図的に無効化した際の予測への影響を介入分析で計測します。算出した因果的重視度をトークンごとの重みとしてSparseGPTやWandaといった既存プルーニング手法の活動値に適用する仕組みです。
推論アルゴリズム自体は変えずに重み付けだけで最適化するんですね!
pruning algorithms はそのままにして、calibration の重みを調整するやり方です。
実際の精度向上効果はどの程度あるんですか?
DeepSeek-R1-Distill-Qwenの1.5Bから14Bモデルで40%と50%のスパースティティを適用した結果、MATH500やLiveCodeBench、AIME 2025において従来手法を一貫して上回る数値を記録しました。
推論コストを半分近く削減しながら精度を維持できるんですか?
ナイーブな均等評価ベースラインと比べ、因果的に重要な回路を優先的に残すため、推論遅延の削減と正解率の維持を同時に達成できます。
でも、介入分析の計算コストを考えると、結局根本的な解決にはなっていないんじゃないですか?
確かに、そのコストを考慮すると、正しい推論に寄与する回路を因果的に守る方が、統計的な活性化を均等に守るより効果的だという結果が示されています。
実際の開発現場で試すにはどうすればいいんですか?
既存のプルーニング手法のアルゴリズムを変更せずに、重み調整モジュールを追加するだけで適用できます。
MATH500、LiveCodeBench、AIME 2025で効果を確認しています。
モデルサイズやスパースティレベルの大半で、最先端の手法を上回る改善を確認しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。