LSPが、70%圧縮でLlama-2-7Bの性能を向上。最大1.6倍高速化し、128kトークンでメモリを13.5倍削減。
この記事のポイント
- 層間誤差を無視していた
- LSPで射影行列を学習
- Llama-2-7Bは10.9。ただし1.6倍速は小バッチ
数字で見る
この記事に出てくる数字
| ゼロショット精度 | 42.2% |
|---|
どこで使えるか
70%圧縮で性能を維持しつつ高速化したい人向け。推論時のメモリ削減も大きい。 arXivで論文公開済み コード公開の記載なし。128kトークン時の13.5xは条件付き
スポンサーリンク
解説
かみくだいて説明します
Massimo Biniらが2026-10-01にarXivへ提出した論文で、ニューラルネットワークの圧縮手法Learnable Subspace Projections、通称LSPを発表しました。従来の手法は各層の重みから不要な部分を局所的な基準で切り捨てていましたが、LSPはネットワーク全体を通して切り捨てる部分そのものを学習します。
切り捨てる部分をネットワーク全体で決めるんですか? それ、作る側からすると既存の手法と比べて何が違うんですか?
従来は活性化エネルギーや層ごとの誤差といった局所的な数値だけで判断していましたが、LSPは各線形層に直交射影という部品を割り当て、重みを凍結したままその部品だけをグローバルな目的関数で同時に最適化します。直交射影というのは、空間を特定の方向からだけ切り取る定規のようなもので、それ以上縮まない方向への情報を確実に残す仕組みです。
定規で方向を切り取る感じですね。だとすると、圧縮率をどれくらい上げた時に差が出るんですか?
圧縮率を上げるほど差が開きます。70%の圧縮でLlama-2-7Bを評価した結果、WikiText-2のパレプレキシティが10.9、ゼロショット精度が42.2%でした。同じ条件で最も強い既存手法は13.3と36.0%です。
確かに大きな差ですね。推論の速度やメモリにはどれくらい影響が出るんですか?
小さなバッチサイズでは密なモデルより最大1.6倍速くデコードできます。重みとKVキャッシュの合計メモリは、128kトークンのコンテキストで13.5倍に圧縮でき、既存のuntied手法の最大6.5倍を大きく上回ります。
メモリが13.5倍になるのは大きいですね。学習済みモデルの重みは変えないんですか?
重みは学習前の状態のまま固定し、射影部の初期値だけwhitened SVDの切り捨てから設定して、その後グローバルなKLダイバージェンスで同時に回します。
KLダイバージェンスのところ、まだ掴めません。もう少しやさしく言うとどうなりますか?
圧縮後のモデルが出力する分布と、元の密なモデルが出力する分布のズレを測る尺度です。二つの確率分布を、同じ内容の文章を二つの人が書いた文章の類似度と考えると分かりやすいです。LSPは、圧縮しても元のモデルの文章の書き方があまり崩れないように、射影部だけを調整しています。
最後に、この手法はどのサイズのモデルに適用できるんですか?
OPT-125M/1.3B、Qwen3-4B、Llama-2-7B、そしてViT-B/16で検証し、すべてベースラインを上回りました。
特定モデル群での優位性は大きいですね。
射影部の初期値設定や、さらに圧縮率を上げた場合の安定性については、そこはまだ分かっていません。
分かりました。
実験結果として、OPT-125M/1.3B、Qwen3-4B、Llama-2-7B、ViT-B/16での性能向上が示されています。
出典
この記事のもとになった情報
- arXiv:Learning Functional Subspaces for Neural Network Compression
- 公開日:2026-10-01
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。