LM-CXDが、CXL-SSD 上の KV キャッシュ配置を制御し、推論の待ち時間を大幅に短縮した。
この記事のポイント
- CXL-SSDはローカルDRAMより遅い
- LM-CXDでKVチャンク管理を最適化
- 5モデルでDRAMに肉薄した
どこで使えるか
CXL-SSDで推論コストを下げたい人向け。KVチャンク管理で待ち時間を短縮。 arXivで公開済み コード公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
LLMの推論を高速化するために、ストレージにNANDフラッシュを使うのは当たり前ですよね?
確かにその通りです。大容量のKVキャッシュを保存するには不可欠ですが、ブロック単位のI/OパスがCPUキャッシュの競合やホストメモリへのステージングを引き起こし、遅延の主要因になります。
私たちが普段使うNVMe SSDと比べても、同じ問題が残るんですか?
残ります。インターフェースのコスト自体がボトルネックになるため、バイトアドレス可能なCXL-SSDが注目される背景があります。
arXivで公開されたLM-CXDは、CXL-SSDをLLMのプレフィックスキャッシング専用に設計した手法です。
そのアプローチって、具体的にはどういう仕組みなんですか?
KVチャンクをデバイスが直接アクセスできるI/O単位に変換し、NANDからDRAMへの転送進捗をサービングエンジンに公開します。デバイスDRAMをGPUが直接使えるバッファとして活用し、レイヤーごとのKV移動をGPU演算とパイプラインで重ね合わせて隠蔽します。
転送の進捗をリアルタイムで共有してスケジューリングするんですか!
実際の性能改善はどれくらいあるんですか?
5つのLLMモデルで評価したところ、計算非同期プレフェッチで最大2.6倍、レイヤー別プレフェッチで最大4.03倍のTTFT短縮を実現しました。平均的にはローカルDRAMの1.5倍以内の性能を達成しています。
標準品と比べて4倍近く速くなるんですか!
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。LM-CXDは、サービングエンジンとデバイスの間のセマンティックギャップを埋めることで、NANDのレイテンシを隠蔽します。
実際の検証はどのように進めるんですか?
LM-CXDはCXL-SSDをLLMプレフィックスキャッシングに特化し、モデル間で平均TTFTをローカルDRAMの1.5倍以内に抑えています。
LM-CXDはCXL-SSDをLLMプレフィックスキャッシングに特化し、モデル間で平均TTFTをローカルDRAMの1.5倍以内に抑えています。
レイヤー単位の先読みで最大4.03倍速くなるんですね
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。