vLLMで動くGPU分割推論のルーティングを、SLOとKVキャッシュ圧で調整する手法

論文

vLLMで動くGPU分割推論のルーティングを、SLOとKVキャッシュ圧で調整する手法

スポンサーリンク

CalibrateThenRouteが、校正済みコストで6台で7台分のスループットに匹敵した

この記事のポイント

  • 従来はラウンドロビンや負荷分散
  • 正確なプロンプト長で推定
  • 3トレースで最高値を記録

数字で見る

この記事に出てくる数字

キャリブ済みスループット 0.864
キャリブなしの損失 4.5ポイント

どこで使えるか

分散LLM運用でリクエスト配分を最適化したい人向け。シミュレータベースで導入可能 論文で公開済み(シミュレータ付き) 8GPUで検証。3GPU以下では効果消失

スポンサーリンク

解説

かみくだいて説明します

Srikanta Datta Tumkurらのチームが、2026年9月15日にarXivに発表した論文で、NVIDIA A40を8枚使った分散型推論のルーティング手法を報告しました。計算量が多い前処理とメモリを多く使う後処理を別のGPUの群に分け、それぞれのインスタンスに追加でかかる完了時間を正確に見積もる仕組みです。
なるほど、前処理と後処理を分けるのは既知の手法ですが、その先の振り分けを機械に学習させるのが今回のポイントですね。現場でシステムを組み立てている技術者から見ると、この学習で得られた重みはそのまま実機のコードに組み込めるものですか。
正確には、論文で使われたのは離散事象シミュレーターで開発されたポリシーですが、実機検証はvLLMというエンジンで動かした結果です。NIXLという仕組みでGPUの間のKVキャッシュを転送しながら、実際の負荷が飽和する地点まで回したところ、学習済みルーティングの平均グッドプットが0.864を記録しました。
0.864という数字は、従来の方法と比べてどれくらい差が出るんですか。
ラウンドロビンと長さヒューリスティックには3つとも勝ち、負荷分散には2つで勝ち、残り1つは0.003差です。ただし補正を怠ると、グッドプットが4.5ポイント落ちて、テールレイテンシの利点がおよそ40%失われます。
4.5ポイントも落ちて40%も利点が失われるなら、シミュレーターと実機のズレは大きい方ですね。ハードウェアの特性を測って補正する作業は、現場で組み立てている技術者にとってどのくらい手間が掛かるんですか。
実機の特性を測る作業自体は、負荷をかけた計測で済みます。ただ、シミュレーター由来の定数だけだと、スコアリングは実質的にキューの数を数えるだけになり、精度が落ちます。実機の特性を測って補正した上で初めて、本来の性能が発揮される仕組みです。
実機の特性を測る手間自体は済むと分かって安心しました。ただ、KVキャッシュという専門用語について、もう少しやさしく言うと実際には何を動かしているんですか。そこがまだ掴めません。
大規模言語モデルが文章を生成する時、最初に入力されたテキストの情報と、まだ出力していない途中の状態をメモリに置いておく場所です。画像で例えるなら、読書中にページを折って戻りやすい位置にしている状態に近いものです。GPUのメモリが圧迫されると、新しいリクエストを受け付けられなくなるため、この場所の空き具合を予測に組み入れています。
メモリの空き具合まで予測に使うなら、GPUの台数が少ない極端な状況ではどうなるんですか。
台数が少ないと、学習済みルーティングの利点は消えます。3つのインスタンスしかないプールでは、単にキューの数を数えるだけで十分だったのです。逆に、GPUの台数が増え、トラフィックの多様性が高まるほど恩恵は大きくなります。極端にリソースが足りない時だけ、コストを最小化する手法が集中しすぎて逆効果になるため、あえて均等に広げる方がマシになります。
均等に広げる方がマシになる局面があるのは、実装側の判断が分かれそうです。最後に、この手法が実用段階に近づいた時、GPUを6台で従来の7台分の性能を出すという話がありますが、そこまでの信頼性はもう確立されているんですか。
6台で7台分のグッドプットを出せたのは、補正済みのコストを使った場合の限られたシナリオです。シミュレーター由来の定数を使うとグッドプットが4.5ポイント低下し、テールレイテンシの利点の約40%が失われます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文