2ビットKVキャッシュの精度を上げるRoLaQ、長文推論の容量を拡張する話

論文

2ビットKVキャッシュの精度を上げるRoLaQ、長文推論の容量を拡張する話

スポンサーリンク

RoLaQが2ビットKVキャッシュで比較手法中最も平均精度を達成。DeepSeek-V2-LiteでBF16の3.96倍の容量を確保。

この記事のポイント

  • 2 ビット化で注意合わせと値読み出しの両方が乱れる
  • RoLaQ で共有回転と量子化範囲を結合学習
  • 3 モデル6ベンチで最高精度。DeepSeek-V2-Lite でBF16 の3.96倍容量

数字で見る

この記事に出てくる数字

KV容量倍率 3.96倍
量子化ビット数 2bit

どこで使えるか

2ビットKVキャッシュで精度を維持したい人向け。共有回転と量子化範囲を結合学習。 論文公開済み DeepSeek-V2-Lite限定評価

スポンサーリンク

解説

かみくだいて説明します

Shiyu Jiらの研究チームが、2026-10-15、arXivにRoLaQという手法を発表しました。マルチヘッドラテントアテンションのキーバリューキャッシュを2ビットで扱う際の精度低下を、回転補正と範囲補正を同時に行うことで解決します。
2ビットでデータを圧縮する話ですね。精度が落ちるのをどう防ぐんですか?
キーバリューキャッシュは長い文章を処理する時に必要な情報をまとめたものです。これを2ビットにすると、情報が歪んでモデルが間違った答えを出しやすくなります。RoLaQは、歪みを相殺するように情報を回転させ、同時に数値の範囲を調整します。モデルの重みは変えずに、この回転と範囲だけを学習させて補正します。
重みを変えないで回転と範囲だけ直すんですね。
3つのモデルと6つのベンチマークで試した結果、比較した2ビット手法の中で最も平均精度が高くなりました。DeepSeek-V2-Liteで実装した場合は、同じメモリ容量でBF16の3.96倍のキャッシュ容量を確保でき、256Kの長い入力トークンでも処理速度が2.51倍になります。
3.96倍と2.51倍で、実用レベルの改善ですね。研究している人から見ると、これまでは何ができていなかったんですか?
2ビットにすると、情報が歪む方向が毎回変わるため、従来の方法では対応しきれない部分がありました。RoLaQは、必要な情報の塊をキーとバリューの役割ごとにグループ分けし、それぞれのグループの中で共通の回転を調整します。同時に、数値の上限と下限を連動させて範囲を学習させるため、歪みの方向が変わっても安定した精度を保てます。
グループごとに回転を合わせて、上限と下限を連動させるんですね。作る人にとって、手元で動かすのに何が要りますか。
公開されているSGLangという実装を使えば、既存の環境で組み込めます。学習はオフラインで行い、モデルの重みは凍結したまま回転と範囲のパラメータだけを最適化します。メモリ上の配置を変えるだけで、長い文章の推論速度と容量を同時に拡張できます。
上限と下限を連動させて範囲を調整するんですね。閾値と利得を同時に制御するところがまだ掴めません。もう少しやさしく言うとどうなりますか。
閾値は範囲の境界を決め、利得は潰れた情報をどれだけ戻すかを制御します。例えば、画像を圧縮する時に出る画質の劣化を、どのくらいまで回復させるかを決めるノブのようなものです。この2つのノブを一緒に回すため、情報の損失を最小限に抑えられます。
画質を回復させるノブを一緒に回すんですね。最後に、今後の展開はどうなりますか。
RoLaQは2ビットのKVキャッシュ圧縮手法で、同じメモリ量なら容量は3.96倍、入力25万6千トークンでは復号速度が2.51倍になります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文