曲率を考えた枝刈りで、圧縮後も勾配と影響度の近さを保つ手法

論文

曲率を考えた枝刈りで、圧縮後も勾配と影響度の近さを保つ手法

スポンサーリンク

CACTUSが、圧縮後も勾配と影響度の近さを保ち、LLM-Surgeon より 28 倍速く動いた

この記事のポイント

  • 剪定で勾配情報が失われる問題
  • ADMMで重みを剪定・分解する手法
  • Qwen3-4Bで勾配類似度向上

どこで使えるか

剪定後も影響関数を生かしたい人向け。データ選択で推論コストを抑える arxivで公開済み 50%プルーニングで評価、2:4スパース性対応

スポンサーリンク

解説

かみくだいて説明します

Mehdi Makni らの研究チームが、2026-10-14 に arXiv でニューラルネットワークの重みを削る手法 CACTUS の論文を発表しました。既存の手法では失われがちだった勾配の情報を保ちながら、モデルを 50% まで小さくできるものです。
重みを削るというのは、AI の中身の一部を捨てて軽量化する話ですね。その時に勾配の情報が失われると、具体的に何が困るんですか?
勾配とは学習時に使われる誤差の方向を示すデータです。地図で言うところの、一番下へ短く降りられる傾斜の向きに近いです。この情報がずれると、後から特定のデータだけでモデルを調整する際にお勧めのデータを見極める精度が落ちます。
なるほど。お勧めのデータを見極める精度が落ちるんですね。それを防ぐために、論文ではどのような仕組みを取り入れたんですか?
層の出力データと逆伝播で戻ってくる勾配の両方を使って、重みの曲面の曲がり具合を計算する目的関数を作りました。凸凹の激しい地形を滑らかに整地するようなイメージです。これを実現する計算エンジンとして、ADMM という最適化アルゴリズムを基にした CACTUS を新たに開発したのです。
地形を滑らかに整地するんですね。逆伝播と合わせて計算するところがまだ掴めませんので、もう少しやさしく言うとどうなりますか?
簡単に言えば、前向きに進む時と、間違えた時に戻る時の両方の情報を同時に見るということです。地図で下山ルートと、登り返しルートを重ねて描くようなものです。
下山ルートと登り返しルートを重ねるんですね。その計算は、従来の手法と比べてどれくらい速くなるんですか?
同じ目的関数を目指す LLM-Surgeon と比べて、28x の高速化を達成しました。実際に比較的弱いハードウェアの上でも動きます。
28x も速くなるんですね。では、実際にモデルを削った時の性能はどう変わったんですか?
Qwen3-4B で試したところ、C4 という評価データでの誤差の差が 45% 減りました。WikiText-2 での勾配の類似度も 0.670 から 0.755 に向上しています。
勾配の類似度が 0.755 まで回復したんですか。では、その勾配の情報を活かしたデータ選びでは、どれくらいの精度が出たんですか?
Llama-3.2-3B で試した結果、CACTUS が選んだデータ 5% だけで学習したモデルが、BIG-Bench Hard で 49.44% の正解率を記録しました。ALPS の 47.22% を上回り、全データで選んだ場合の 49.54% にほぼ追いついています。
5% のデータだけで、全データ選びにほぼ並んだんですか。では、この手法を現場で実際に組み込む場合、何がまだ解けていないんですか?
論文では CACTUS と LoGRA を組み合わせた場合、MLP 層を 2:4 の疎性まで削り rank-64 の補正を掛けても、勾配の類似度 0.711 を維持できることを示しています。ただし、他のアーキテクチャへの適用範囲や実機での安定性についてはそこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文