事前学習済みのモデルで量子化誤差が蓄積しにくい仕組みを解明した研究

論文

事前学習済みのモデルで量子化誤差が蓄積しにくい仕組みを解明した研究

スポンサーリンク

事前学習済みモデルの量子化誤差が層ごとに打ち消し合い、蓄積しにくい仕組みを解明した。

この記事のポイント

  • 誤差が深さと共に蓄積するはず
  • 層間が誤差を相殺し緩やかに成長
  • 高ランク語の確率を優先的に保持

どこで使えるか

量子化で精度低下を気にせずモデルを小さくしたい人向け。層ごとの誤差が相殺される性質を利用できる arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Yuxiang Chenらの研究チームが、大規模言語モデルの精度を落として圧縮する「ポストトレーニング量子化」がなぜ機能するかを解明する論文を発表しました。モデルの重みを粗い精度で保存すると層ごとに誤差が出ますが、事前学習済みモデルでは誤差が急には増えず、性能が保たれる仕組みを2つのメカニズムで見つけました。
誤差が急には増えないんですか。それまでのモデルと比べて、どこが違っていたんですか。
1つ目は層と層の間で出る誤差が互いに打ち消し合う性質です。新しい層が加える誤差が、前の層から受け継いだ誤差と逆向きになり、結果として全体的なズレの伸びが緩やかになります。この仕組みは学習の過程で自然に身についていたものです。
前のズレと逆向きに打ち消し合う、つまり相殺される形で進むんですね。組み込み側から見ると、この特性を活かすには事前学習の段階でどう調整すればいいんですか。
特別な調整は要りません。通常の学習データでモデルを訓練するだけで、この相殺の性質が自動的に発達します。量子化は訓練が終わった後に施す手法なので、学習時に変なノイズを加える必要はないということです。
訓練が終わった後に圧縮するだけで性能が保たれるのは助かりますね。もう1つのメカニズムはどういう働きをするんですか。
2つ目は出力の段階で、モデルが最も確信している上位の単語の得点や確率を優先的に残す幾何学的な構造が働いている点です。
幾何学的な構造、つまり形の問題だと聞きましたが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
辞書を引き当てるとき、よく使う単語の欄が先に開く仕組みに似ています。誤差が重なっても、最終的に残る得点は上位の単語に集中するので、予測のズレが目立たなくなります。
上位の単語の得点を守る構造が、最終的な予測のズレを小さくしているんですね。検証はどのくらいの規模でやったんですか。
複数のモデルと量子化の設定で確認しています。誤差が層を通過しても出力の変化が小さいという結論は、設定を変えても同じ傾向が繰り返されました。
設定を変えても同じ傾向なら、実装の指針になりそうです。公開されている重みやコードで、実際にこの2つの性質が確認できますか。
そこはまだ分かっていません。
最後に、この研究が次のモデル開発にどう活かされる見込みですか。
この研究は、事前学習済みモデルの量子化ロバスト性を説明する2つのメカニズムを特定し、多数のモデルと量子化設定でその知見を検証しました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文