TensorRT-LLM v1.4.0rc0、Qwen3やGLM-5.3-Flashなどモデル追加と API 変更
この記事のポイント
- Cosmos3の再量子化が必要だった
- 静的FP8版チェックポイントを読み込み
- 再量子化不要。Nano/Superのみ
数字で見る
この記事に出てくる数字
| Multi-GPU構成 | TP2 |
|---|---|
| モデル規模 | 0.6B |
どこで使えるか
Cosmos3 Nano/Superの再量子化を飛ばしたい人向け。静的FP8版のみ対応 GitHubのリリースページで入手可能 H100やSM120/121環境で既知のバグあり
スポンサーリンク
解説
かみくだいて説明します
peihu-nvがGitHubで公開したTensorRT-LLMのバージョン1.4.0のプレリリースが、2026年10月15日に出ました。このソフトウェアはNVIDIAのAIモデルを高速に動かすためのもので、今回は新しいモデルの対応や、メモリを効率的に使う仕組みが大幅に追加されています。
開発者向けのパッケージが新しくなったんですね! 新しいモデルへの対応が具体的にどれくらい増えたんですか?
GLM-5.3-FlashからQwen3.6やMiniMax-M3まで、十種類以上のモデルが追加されています。特にMiniMax-M3では、推論の途中で必要なデータだけを保存するKVキャッシュの仕組みを新しく設計して、メモリを大幅に節約しています。
KVキャッシュというのは、まだイメージが掴めません。もう少しやさしく言うとどうなるんですか?
辞書を引きながら文章を作るイメージです。毎回ページをめくるのではなく、すでに開いたページを覚えておいて、次も同じ場所をすぐ見られるようにする仕組みがKVキャッシュです。これによって、長い文章を処理する際の計算量を減らしています。
すでに開いた辞書を覚えておく感じですね! メモリを節約する一方で、実際の処理速度はどれくらい変わるんですか?
材料には具体的な数値は記載されていませんが、複数の専門ユニットから必要なものだけを選ぶMoEのルーティング処理が、8トークンごとのバッチで最大限に速くなるように最適化されています。MoEは、モデルの中にある複数の専門ユニットから、その瞬間に必要なものだけを呼び出す仕組みです。
必要な専門ユニットだけを取り出すんですね! 現場で動かすときの設定で、気をつける点はどこですか?
複数のGPUで動かす場合、GPU同士を繋ぐMPIという通信の仕組みを再利用する際に、初期化で止まってしまう現象が報告されています。H100の環境で確認されたもので、複数のAIインスタンスを同時に走らせる場合は、この部分を避ける設定が必要です。
複数のGPUを並列で使うときの注意点ですね! 次は、このバージョンで新たに対応するAPIの変更について、詳しく教えてください。
従来あったKVCacheManagerV2のPythonバックエンドが削除されています。これにともない、LlmRequestのフィールド定義がPython側に移行しました。OpenAIのサーバーでリクエストが長すぎた場合のエラー形式も、OpenAIスタイルの形式に統一されています。
開発者がコードを書き換える手間が増える部分ですね! 最後に、このプレリリースから正式版が出るまでの見通しは、どうなっていますか?
リリース候補のRC0が公開され、正式版への道筋を示すGitHubのページで、各Issueの進捗が随時更新されています。
出典
この記事のもとになった情報
- GitHub:v1.4.0rc0
- 公開日:2026-10-15
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。