Transformer の推論キャッシュを減らす GVA、GQA と同等の精度でメモリを削減

論文

Transformer の推論キャッシュを減らす GVA、GQA と同等の精度でメモリを削減

スポンサーリンク

GVAが GQA に迫る精度で KV キャッシュを約 45% 削減した

この記事のポイント

  • GQAは全ステップでキーと値を保持する
  • 学習マップでキーを再構成しキャッシュを削減
  • 350MパラメータでGQAに匹敵する精度を確認

数字で見る

この記事に出てくる数字

キャッシュ削減率 45-47%
モデルパラメータ 350M
学習トークン数 30B

どこで使えるか

推論時のメモリ使用量を減らしたい人向け。学習済みモデルのデコーダ部分を最適化できる コードの公開は記載なし 350M/30Bで44.18平均精度。GQA比で45-47%削減

動画を見る

スポンサーリンク

解説

かみくだいて説明します

インドの研究者、ヴィシェーシュ・トライパティさん、アブハイ・クマールさん、ラムシャ・カンさんのチームが、AIモデルの高速化手法、グループドバリューAttention、通称GVAを発表しました。キーとバリューのキャッシュをまとめることで、必要なメモリ量を45-47%減らせるということです。
確かにキャッシュが減れば処理が速くなりそうです。既存のグループドクエリAttentionと比べて、どこが根本的に違うんですか。
既存の手法はキーとバリューの両方を毎回保存していましたが、GVAはバリューだけまとめて保存し、キーは計算の途中で復元する仕組みです。原本の資料を毎回机に広げる代わりに、必要なページだけコピーして使うイメージです。
なるほど、原本を持ち歩かなくて済むわけですね。その復元作業は、計算が重くなったりしませんか。
計算は問い合わせ側に吸収されるので、本来のデコードパスには余計な負荷がかかりません。位置情報は別途キャッシュしているので、精度はGQAに匹敵するレベルを維持しています。
精度が落ちないなら実用性が高いですね。実際に測った結果、数字ではどのくらい差が出るんですか。
350Mのモデルで5つのタスクを平均したところ、GVAは44.18でした。同じ条件のグループドクエリAttentionが44.36で、比較対象のマルチヘッドラテントAttentionが43.88です。誤差の範囲に近い精度を、より少ないメモリで実現しています。
ほぼ同等の精度でメモリが半分近く減るなら、現場の負担は大きく変わりますね。実際に動くコードはいつ頃、手元で試せる見込みですか。
専用の演算カーネルを開発中で、エンドツーエンドの推論速度を現在評価しています。オープンソースでの公開は近日中を予定していますが、具体的な日付はまだ決まっていません。
では、キーを復元する仕組みは具体的にどう動いているんですか。
学習した線形変換を問い合わせの計算に組み込むため、本来のパスでキーを別に作り直す必要がなくなります。変換処理が隠れるので、プログラムの書き換えも不要です。
最後に、まだ解けていない課題や、使えない場面はありますか。
350Mパラメータ規模で30Bトークンを使い、5タスクの平均精度が44.18に達しました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文