DeepSeek-V4.1-Flashのグローバル KV キャッシュが 890 バイトに圧縮。
この記事のポイント
- 長いコンテキストで推論コストが重い
- KVキャッシュ圧縮と軽量化モデルを開発
- 従来比大幅に削減し性能も向上
数字で見る
この記事に出てくる数字
| バックボーンパラメータ | 552B |
|---|---|
| 学習トークン数 | 45T |
どこで使えるか
グローバルKVキャッシュを圧縮したい人向け。HBM常駐分の削減に特化 Hugging Faceで公開済み
動画を見る
スポンサーリンク
解説
かみくだいて説明します
長期タスクを実行するエージェントが増えるにつれて、モデルへの入力データが爆発的に膨らんでいますよね?
確かにその通りです。コンピュート、ストレージ、帯域幅の三つが同時に逼迫し、展開コストを下げる最大の壁になっています。
既存のコンテキスト圧縮手法でも、結局はメモリとSSDの容量不足で頭打ちになってしまうんですか?
その通りで、プリフィル段階の計算コストと、巨大なKVキャッシュがHBMやホストメモリを圧迫する構造自体が変わらない限り、コスト削減の限界に達します。
そこでDeepSeek-AIが発表したのが、5520億パラメータのバックボーンを持つDeepSeek-V4.1-Flashです。最大100万トークンのコンテキストに対応し、エージェントワークロード向けに設計されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
因果的エンコーダーデコーダー、略してCEDアーキテクチャを採用し、デコード時は160億パラメータ、プリフィル時はわずか80億パラメータを活性化します。さらに圧縮スパースアテンション2、略してCSA2とFP4のKVキャッシュを組み合わせることで、メモリ配置を最適化しています。
確かに!プリフィル時のパラメータ消費を半分に抑えつつ、メモリ帯域の負担を大幅に減らせそうです!
層間でKVキャッシュを再利用する設計により、GPU内のグローバルキャッシュとSSD上の永続キャッシュの両方を効率的に管理しています。
圧縮効果は具体的にどのくらい改善されているんですか?
グローバルKVキャッシュのサイズはトークンあたり890バイトに収まり、従来のDeepSeek-V4-Flashと比較して約4分の1に削減されています。
SSDやホストメモリに保持する永続キャッシュの方はどうなりますか?
SWA Bounded Replayという専用デプロイ最適化により、永続キャッシュのサイズは従来の約8分の1まで圧縮されています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、コスト削減と性能向上の両立が課題です。しかし当モデルは、16Bパラメータのデコードと8Bパラメータのプレフィルにより、エージェントワークロードのコスト効率を大幅に向上させています。
実際の試し方はどうすればいいんですか?
チェックポイントはHugging Faceで公開されていますので、エージェント開発の現場でぜひご利用ください。
100万トークン対応で、エージェント開発の現場でも活用できます。
確かに!メモリ効率の飛躍的向上で、もっと複雑な自律タスクが日常に浸透しそうです!
出典
この記事のもとになった情報
- arXiv:DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
- 公開日:2026-09-17
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。