Three-Level Optimizationが、LLM 圧縮でテキスト生成の誤りが減った。
この記事のポイント
- 圧縮誤差がブロック内で蓄積する
- SVD、ブロック、モデルの3段階で最適化
- 精度は密モデルに及ばない
どこで使えるか
SVD圧縮で精度が落ちるモデルを、学習なしで改善したい人向け。 arXivで公開済み 60%圧縮時のWikiText-2 PPLは11.4
スポンサーリンク
解説
かみくだいて説明します
Huicheng Zhangらのチームが、大規模言語モデルを圧縮する3段階の手法を公開しました。行列ごとのSVD処理だけでは誤差が積み重なるため、1段階目で行列ごとのSVD、2段階目でブロック単位の共同最適化、3段階目でモデル全体の学習損失による微調整を行うチェーンを提案しています。LLaMA-7Bを60%圧縮した際、WikiText-2のパープレキシティが42.1から19.1、そして11.4まで下がりました。
3段階も踏むんですね。行列ごとの従来の処理と比べて、どこが新しいんですか。
従来は行列ごとに独立して圧縮していましたが、ブロック全体をまとめて最適化する2段階目が正則化の役割を果たします。これを飛ばすとPTBのパープレキシティが24ポイント悪化しますが、3段階目の学習損失でその差は埋まりませんでした。圧縮率20%から80%、13Bパラメータまでの5つのアーキテクチャで効果を確認しています。
ブロック単位でまとめて処理するんですね。では、データを増やすと2段階目を飛ばしても良くなるんですか。
検証データを増やすと、2段階目を省略しても3段階目の学習だけで追いつく結果が出ました。オフラインでの計算量とデータの量にはトレードオフがあるということです。ただし、下流タスクの精度はまだ密なモデルに遠く及ばないため、改善が認められるのはパープレキシティと圧縮の忠実度だけです。
精度はまだ密なモデルに及ばないんです。では、現場でこの手法を組み込む技術者から見ると、動かすのに何が要りますか。
コードや学習済みモデルの公開状況については要旨に言及がないため、要旨の内容に合わせます。校正データ256個とアーキテクチャ固有の設定で動かしますが、クロスアーキテクチャ比較は共通プロトコル下ではない点にご注意ください。
コードは公開されていないんですね。ところで、パープレキシティという数字がまだ掴めません。もう少しやさしく言うとどうなりますか。
文章がどれくらい予測しやすいかを表す数値です。天気予報で明日の気温を当てるとき、外れ値が少ないほど数値が下がるイメージです。モデルが次の言葉を当てる精度が、この数値で測られます。
外れ値が少ないほど下がるんですね。では、研究している人から見ると、これまでは何ができていなかったんですか。
行列ごとの最適化だけでは、ブロック内の非線形な処理を通るたびに誤差が積み重なる問題が解けていませんでした。3段階のチェーンでそれを補正し、幅広い圧縮率で安定した改善を示しました。ただし、クロスアーキテクチャの行はアーキテクチャ固有の設定を使い、圧縮率のスイープは共通のプロトコル下で実行されていないため、厳密な比較はまだできません。
共通のプロトコル下ではないんですか。では、AIを使う側から見ると、圧縮による性能低下のどれが減りますか。
圧縮時の精度低下を3段階で抑えられるため、モデルの軽量化と性能維持の両立がしやすくなります。ただし、下流タスクの精度が密なモデルに追いつくかどうかは、そこはまだ分かっていません。
最後に、下流タスクの精度が追いつかないと話していましたね。実用化に向けた次のステップはありますか。
実用化に向けては、校正データを増やすとブロックレベル最適化をスキップしても競合する可能性が示唆されています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。