LLM の推論フェーズの境界を動的にする Crossflow、スループット向上の話

論文

LLM の推論フェーズの境界を動的にする Crossflow、スループット向上の話

スポンサーリンク

Crossflowが、LLM のスループットを最大 43.4% 向上させた

この記事のポイント

  • プリフィルとデコードの比率が変動する
  • ノード役割を変えずに境界を弾性化
  • 最大43.4%向上。ただし高負荷時

数字で見る

この記事に出てくる数字

分単位ピーク比 4.7x
時間比中央値 24.5x
幾何平均向上率 16.2-17.4%

どこで使えるか

arXivで論文公開済み コード公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

エージェント用途の急増で、推論リソースの需要が刻一刻で変動する悩みですよね?
確かにその通りです。リクエストの波が激しくなるほど、従来の静的な配分では対応が追いつかなくなります。
既存のアプローチって、結局プレフィルとデコードを別々に割り当ててるだけじゃないんですか?
その通りで、両フェーズの需要が変動する中で静的な境界線は必ずボトルネックを生みます。
arXivで公開されたCrossflowが、この境界を柔軟にする手法として提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
交通量に応じて車線が開閉されるスマートインターチェンジのように、デコードノードが短期リースを発信し計算量やKVキャッシュを動的に調整します。
ノードの役割を変えずに融通し合えるなんて、確かに!私でもイメージできますね!
ノードの役割を変えずに境界を弾性的にしているんです。
実際の性能改善効果はどれくらいあるんですか?
静的なP/D方式と比較してトークンスループットが16.2から17.4パーセント向上し、高負荷時では最大43.4パーセントの改善が確認されています。
静的な割り当てを大幅に上回る数値ですね!
平均TTFTも評価した全ポイントで削減されており、処理待ち時間の短縮が明確に実証されています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにその通りです。レプリカの再割り当てには数十分かかり、アジェンティックトラフィックは不均衡をさらに悪化させます。
実際の試し方はどうすればいいんですか?
Crossflowは静的なP/D比に比べてトークンスループットを最大43.4%向上させ、TTFTを削減します。
静的なP/D比に比べてトークンスループットを最大43.4%向上させ、TTFTを削減します。
スループット向上とTTFT削減、両方の効果を確認した形ですね。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文