LLMのAttentionを逐次圧縮するFTC、モデルの構造を活かした圧縮手法

論文

LLMのAttentionを逐次圧縮するFTC、モデルの構造を活かした圧縮手法

スポンサーリンク

FTCが5つのモデルで圧縮率ごとに最も賢さを保った

この記事のポイント

  • 既存手法は圧縮後の構造変化を無視していた
  • 圧縮後のモデルに合わせつつQKV構造を共有する手法を開発
  • 7モデルで最低パープレキシティ。ただし勾配回復は行わない

数字で見る

この記事に出てくる数字

モデル規模 6B~32B
テストモデル数 7
GQAモデル数 5

どこで使えるか

調整なしでAttentionを圧縮したい人向け。32B級でも性能を維持する arxivで公開済み 32Bスケールでも改善が持続

スポンサーリンク

解説

かみくだいて説明します

Jiangfeng Chenらの研究チームが、2026-10-01にarXivに論文を公開しました。大規模言語モデルの注意機構を圧縮するFTCという手法を提案しています。既存の方法は行列ごとに独立に近似するため、内部の共有構造や前の段階の圧縮で生じる表現のズレを無視していましたが、FTCは圧縮が進行するたびにモデルの状態に合わせて近似を調整し、QとKとVのヘッド構造を固定された容量の中で活用します。出力の投影は別々に処理して、注意機構の後の表現の変化に対応します。7つのモデル、6Bから32Bのパラメータ規模で評価したところ、5つのモデルすべてで比較手法中最も低いWikiText-2のパラプレキシティを達成し、圧縮率を上げた場合ほど大きな改善が見られました。
圧縮が進行するたびに調整するんですか。研究者の立場から聞きたいんですが、この手法はファインチューニングや勾配を使った回復を必要としないんですか。
必要としません。従来の手法だと圧縮後に学習を回して精度を戻す手間が要りましたが、FTCは圧縮の段階だけで処理を完結させます。QとKとVの構造を自然な形で残しながら容量を節約するため、学習なしでも表現のズレを補正できる仕組みです。
なるほど、学習なしで済むのは技術者にとって嬉しい点ですね。ただ、前の段階の圧縮で生じるズレを次の段階が引き継ぐ仕組みがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、映画の字幕を翻訳するイメージです。従来の方法は各フレームをバラバラに翻訳しますが、FTCは前のフレームの翻訳結果を参考にして、次のフレームの翻訳を調整します。QとKとVも同じで、前の段階で圧縮した情報を次の段階が引き継ぎながら、全体として自然な形を保つように容量を配分します。
前の翻訳結果を引き継ぐ感じですね。では、この手法は既存のモデルに後から差し込む形で使えますか。
差し込む形で使えます。モデルを最初から作り直す必要はなく、学習済みのモデルに対して圧縮処理を施すだけで適用できます。ただし、どのアーキテクチャに適用できるかは論文では decoder-only のモデルに限定して報告されています。
規模が大きくても低下を抑えられるのは確かに大きいですね。32B規模でも効果は下流タスクに転移するんですか。
転移します。32B規模でも改善幅は十分に残っており、下流タスクでの精度向上が確認できています。注意機構の圧縮がモデル全体の性能低下に直結しやすい中で、FTCは規模が大きくても精度の低下を抑えられることを示しています。
では、具体的な削減容量の数字は公開されていますか。
具体的な削減率は論文に数値で示されていません。そこはまだ分かっていません。比較対象の手法と同じ保持率で評価した結果、FTCが最も低いパラプレキシティを記録したという報告だけです。
最後に、実用化に向けた次のステップはどうなりますか。
実用化に向けた次のステップとして、本研究ではファインチューニングや勾配ベースの回復手法を必要とせず、固定ストレージ予算内でQ/K/Vヘッド構造を統合的に活用する手法が提案されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文