KVキャッシュの再利用で精度を落とさない手法 BCR、推論の費用を下げる話

論文

KVキャッシュの再利用で精度を落とさない手法 BCR、推論の費用を下げる話

スポンサーリンク

BCRが、数学の推論で精度をdense-prefillに戻した。

この記事のポイント

  • MMLUとGSM8Kで再利用が精度を損なう
  • 行単位で注目度に基づき再計算するBCR
  • BCRによりGSM8Kはdense精度に戻る

どこで使えるか

精度低下を修復したい人向け。再計算予算を割いてキャッシュ行を選別する arXivで公開済み 実装コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Haeyong Kang さんと Chang D. Yoo さんが発表した研究で、AI が文章を生成する際の速度を上げる KV キャッシュの再利用手法に、実は精度が落ちる欠点があることが分かりました。
精度が落ちるんですか? 再利用する側からすると、どこで引っかかる話なんですか?
従来は再利用すれば品質が落ちないとされていましたが、テスト MMLU と GSM8K で見ると、実は大きな精度の低下が起きていました。再利用するかどうかを判断するルールも無かったため、コストが隠れたままになっていたのです。
なるほど、ルールがないから仕方なく全部再利用していたんですね。では、再利用しない部分をどう選べばいいのか、作る側は具体的にどう判断するんですか?
研究チームが見つけたのは、再利用する行を一つずつ選んで、精度が落ちる部分を正確に書き直す方法です。単位を細かくすると選択の効果が上がります。一行ずつ選ぶとエラーの 49.5% を消せますが、64 トークンまとめて選ぶと効果は 10.6% になります。
一行ずつ選ぶのがいちばん効果的なんですね。では、その一行ずつを選ぶ仕組みは、実際に動くモデルに組み込むのは難しい話ですか?
新しく提案された BCR という手法では、キャッシュから 2 つのトークンを下調べとして取り出し、それらが注目する行を順位付けして、決められた数の行だけを正確に計算し直します。3 つの配置方法から選べるようになっており、同じ予算ならランダムに選ぶより明らかに精度高くなります。
注目する行だけを計算し直すんですか。専門用語のキャッシュとトークンがまだ掴めません。もう少しやさしく言うとどうなりますか?
分かりやすく言うと、キャッシュは前回の会話で使った答えのメモ帳です。トークンは今話している一文の中の単語一つ一つを指します。メモ帳から今必要な部分だけを取り出して書き換えるので、前の会話を全部覚えているのに、今回は必要な部分だけ正確に使えるようになります。
なるほど、メモ帳から必要なページだけ書き直す感じですね。では、この書き直しで全部の精度が元に戻るんですか?
GSM8Kについては通常の計算と同じ精度まで回復しますが、すべての再利用手法の平均を上回るのは、最も優れたレイアウトの場合です。
既存の手法をすべて上回るんですか。では、書き直す行数の予算は、使う側が自由に決めることができるんですか?
予算は研究チームが設定した固定の数値で動きます。どのくらいの行数を計算し直すかを決める基準は、まだ公開されていません。そこはまだ分かっていません。
基準がまだ決まっていないんですか。最後に、この手法は研究者にとってどこが新しいんですか?
再利用するかどうかの判断を、行という細かい単位に落とした点が新しいです。これまで精度が落ちる原因を隠していた問題を、具体的な数字で明らかにし、書き直す部分だけを選んで精度を回復させる道筋を示しました。
細かい単位で判断する点が新しいんですね。
BCRは行の単位で選ぶやり方が効くことを確かめ、一定の本数だけ計算し直すことで、GSM8Kの精度をキャッシュを使わない計算と同じ水準まで戻した。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文