KVキャッシュをチップ内網で分散して運び、長文脈推論の通信量を最大58%減らす加速器設計

論文

KVキャッシュをチップ内網で分散して運び、長文脈推論の通信量を最大58%減らす加速器設計

スポンサーリンク

MeshKVが、長文脈推論の通信量を最大58%減らし、スループットを1.9倍向上させた。

この記事のポイント

  • 集中型メモリがボトルネックになっていた
  • パケット化でブロックを転送する仕組みを作った
  • 58%削減と1.9倍。ただし8x8 FPGAのみ

どこで使えるか

長文脈推論で通信ボトルネックを避けたい人向け。8x8 FPGA実装が前提。 arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

長文コンテキストの推論だと、KVキャッシュの移動がボトルネックになって遅延が伸びますよね?
確かにその通りです。タイル型アクセラレータではデータ移動が不規則になり、通信路が混雑します。
既存の圧縮やメモリ配置手法でも解決しないんですか?
集中型メモリパスにトラフィックが偏るため、長文サービングでは依然として瓶颈が生じます。
arXivで公開されたMeshKVは、軽量なNoC上でパケットフローとしてブロックを移動するKVキャッシュファブリックです。
そのアプローチって、具体的にはどういう仕組みなんですか?
TaKVアフィンストライピングでホーム分散しホットスポットを回避し、Mareマルチキャストで重複転送を抑制し、PadがクレジットアライメントFIFOの背後でプリフェッチとタイル乗算、ストリーミングソフトマックスを重畳します。
通信路の混雑をデータフローそのもので捌くんですね!
改善効果はどの程度あるんですか?
8x8 FPGA実装でLLaMA-2-7BとMistral-7Bの8Kから32Kコンテキストで評価した結果、インターコネクトトラフィックを最大58%削減し、KV帯域幅利用率を2.1倍、マルチストリームスループットを最大1.9倍向上させています。
従来手法と比べて通信負荷が大幅に下がったんですね!
でも、特定のFPGA実装に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、8x8のFPGA実装が中心で、LLaMA-2-7BやMistral-7Bの8Kから32Kのコンテキスト長での評価が主です。
実際の試し方はどうすればいいんですか?
8x8のFPGA実装でLLaMA-2-7BやMistral-7Bを用いた検証結果が示されています。
通信帯域の向上とマルチストリームスループットの大幅改善が確認されています。
通信オーバーヘッドが劇的に減れば、より長いコンテキストが当たり前になりますね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文