GVAが GQA に迫る精度で KV キャッシュを約 45% 削減した
この記事のポイント
- GQAは全ステップでキーと値を保持する
- 学習マップでキーを再構成しキャッシュを削減
- 350MパラメータでGQAに匹敵する精度を確認
数字で見る
この記事に出てくる数字
| キャッシュ削減率 | 45-47% |
|---|---|
| モデルパラメータ | 350M |
| 学習トークン数 | 30B |
どこで使えるか
推論時のメモリ使用量を減らしたい人向け。学習済みモデルのデコーダ部分を最適化できる コードの公開は記載なし 350M/30Bで44.18平均精度。GQA比で45-47%削減
動画を見る
スポンサーリンク
解説
かみくだいて説明します
インドの研究者、ヴィシェーシュ・トライパティさん、アブハイ・クマールさん、ラムシャ・カンさんのチームが、AIモデルの高速化手法、グループドバリューAttention、通称GVAを発表しました。キーとバリューのキャッシュをまとめることで、必要なメモリ量を45-47%減らせるということです。
確かにキャッシュが減れば処理が速くなりそうです。既存のグループドクエリAttentionと比べて、どこが根本的に違うんですか。
既存の手法はキーとバリューの両方を毎回保存していましたが、GVAはバリューだけまとめて保存し、キーは計算の途中で復元する仕組みです。原本の資料を毎回机に広げる代わりに、必要なページだけコピーして使うイメージです。
なるほど、原本を持ち歩かなくて済むわけですね。その復元作業は、計算が重くなったりしませんか。
計算は問い合わせ側に吸収されるので、本来のデコードパスには余計な負荷がかかりません。位置情報は別途キャッシュしているので、精度はGQAに匹敵するレベルを維持しています。
精度が落ちないなら実用性が高いですね。実際に測った結果、数字ではどのくらい差が出るんですか。
350Mのモデルで5つのタスクを平均したところ、GVAは44.18でした。同じ条件のグループドクエリAttentionが44.36で、比較対象のマルチヘッドラテントAttentionが43.88です。誤差の範囲に近い精度を、より少ないメモリで実現しています。
ほぼ同等の精度でメモリが半分近く減るなら、現場の負担は大きく変わりますね。実際に動くコードはいつ頃、手元で試せる見込みですか。
専用の演算カーネルを開発中で、エンドツーエンドの推論速度を現在評価しています。オープンソースでの公開は近日中を予定していますが、具体的な日付はまだ決まっていません。
では、キーを復元する仕組みは具体的にどう動いているんですか。
学習した線形変換を問い合わせの計算に組み込むため、本来のパスでキーを別に作り直す必要がなくなります。変換処理が隠れるので、プログラムの書き換えも不要です。
最後に、まだ解けていない課題や、使えない場面はありますか。
350Mパラメータ規模で30Bトークンを使い、5タスクの平均精度が44.18に達しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。