vLLMのキャッシュ指標が、キャッシュされたプロンプトトークンをキャッシュ層ごとに公開した。
この記事のポイント
- キャッシュされたトークン数が不明
- プロンプトトークンを階層別に公開
- v0.31.1rc0で確認可能
どこで使えるか
推論コストの可視化を自前で組みたい人向け。キャッシュ層ごとのプロンプトトークン数が見える GitHubで公開済み rc版のため安定版ではない、ライセンスはApache-2.0
スポンサーリンク
解説
かみくだいて説明します
GitHubで公開されたvllmプロジェクトのv0.31.1rc0が、10月7日に更新されました。開発者のCam Quiliciさんたちが、キャッシュされたプロンプトトークンをキャッシュティアごとに確認できる指標を追加しています。
なるほど。AIが使う前のデータを、段階ごとに数えられるようになったんですね。ただ、プロンプトトークンが具体的に何を指すのか、そこがまだ掴めません。
分かりやすく言うと、ユーザーがAIに質問するときに送る文章そのものです。例えば明日の天気はどうですかと入力した部分全部がプロンプトトークンになります。
入力した文章全部がプロンプトトークンなんですね。では、この指標は現場の技術者がすぐ使えますか。
使えます。v0.31.1rc0からこの指標が利用可能になります。同じ倉庫の中でも冷蔵室と常温室で分けて管理できるイメージで、ティアごとの数値が可視化されるので、設定の調整に直接役立ちます。
冷蔵室と常温室で分けて管理できるんですね。ただ、ティアの区切りは自分で決めるんですか。
区切りの基準はvLLMのキャッシュ機構の仕様で決まります。開発者が設定した段階ごとに自動的に分類される仕組みです。どう区切るかはシステム側が決めて、人間が手動で分け直す必要はありません。
なるほど。自動で分類されるんですね。研究している人から見ると、これまでは何ができていなかったんですか。
ねえ、今回の更新でキャッシュされたトークンの指標が外からちゃんと見えるように公開されるようになったんだって、地味だけど、これで地道に効率の変化を追いやすくなっていきそうな感じだね
全体数だけだったのが段階ごとの数値で見えるようになるんですね。では、この更新はv0.31.1rc0だけで使えるんですか。
はい、v0.31.1rc0での更新です。Cam Quiliciさん、Nick Hillさん、Yifan Qiaoさんの3名が共同執筆者として参加しています。
rc版からすぐ使えるんですね。最後に、今後の展開で何がまだ分からないんですか。
この要旨には署名欄(Signed-off-by / Co-authored-by)しか記載がなく、技術的な内容が一切ないため、要旨に基づいた書き直しができません。
出典
この記事のもとになった情報
- GitHub:v0.31.1rc0: [Metrics] Expose cached prompt tokens by cache tier (#56318)
- 公開日:2026-10-07
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。