MeshKVが、長文脈推論の通信量を最大58%減らし、スループットを1.9倍向上させた。
この記事のポイント
- 集中型メモリがボトルネックになっていた
- パケット化でブロックを転送する仕組みを作った
- 58%削減と1.9倍。ただし8x8 FPGAのみ
どこで使えるか
長文脈推論で通信ボトルネックを避けたい人向け。8x8 FPGA実装が前提。 arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
長文コンテキストの推論だと、KVキャッシュの移動がボトルネックになって遅延が伸びますよね?
確かにその通りです。タイル型アクセラレータではデータ移動が不規則になり、通信路が混雑します。
既存の圧縮やメモリ配置手法でも解決しないんですか?
集中型メモリパスにトラフィックが偏るため、長文サービングでは依然として瓶颈が生じます。
arXivで公開されたMeshKVは、軽量なNoC上でパケットフローとしてブロックを移動するKVキャッシュファブリックです。
そのアプローチって、具体的にはどういう仕組みなんですか?
TaKVアフィンストライピングでホーム分散しホットスポットを回避し、Mareマルチキャストで重複転送を抑制し、PadがクレジットアライメントFIFOの背後でプリフェッチとタイル乗算、ストリーミングソフトマックスを重畳します。
通信路の混雑をデータフローそのもので捌くんですね!
改善効果はどの程度あるんですか?
8x8 FPGA実装でLLaMA-2-7BとMistral-7Bの8Kから32Kコンテキストで評価した結果、インターコネクトトラフィックを最大58%削減し、KV帯域幅利用率を2.1倍、マルチストリームスループットを最大1.9倍向上させています。
従来手法と比べて通信負荷が大幅に下がったんですね!
でも、特定のFPGA実装に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、8x8のFPGA実装が中心で、LLaMA-2-7BやMistral-7Bの8Kから32Kのコンテキスト長での評価が主です。
実際の試し方はどうすればいいんですか?
8x8のFPGA実装でLLaMA-2-7BやMistral-7Bを用いた検証結果が示されています。
通信帯域の向上とマルチストリームスループットの大幅改善が確認されています。
通信オーバーヘッドが劇的に減れば、より長いコンテキストが当たり前になりますね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。