NVIDIA TensorRT-LLM v1.3.0rc26が DeepSeek-V4 や Qwen3 などの新モデルに対応。
この記事のポイント
- Qwen3 MoEのルーター指定アダプターが無視される
- ルーター指定を除外し注意層のみ対象とする
- ルーター指定は未対応。注意層指定は正常動作
どこで使えるか
Qwen3 MoEのルーター指定アダプターを避けたい人向け。注意層のみ対象とする回避策がある。 GitHubリリースページで公開済み Blackwell GPUは一部機能に制限あり
スポンサーリンク
解説
かみくだいて説明します
NVIDIAのTensorRT-LLMのバージョン1.3.0rc26が、2026-09-09にGitHubでtongyuantongyuによって公開されました。DeepSeek-V4やQwen3.8-Flash-Next、Kimi K3などのモデル対応が追加され、VisualGenへのFP8量子化やCosmos3のアクション生成機能も新たに備わりました。
では、開発現場でこのリリースを使う場合、APIの仕様が一部変わるとありますが、具体的にどの部分が削除されたんですか。
TRTLLMSamplerという機能が削除されました。これまでは推論のサンプリング処理をこの関数が担っていましたが、現在は/v1/responsesというURLパスの仕様を完成させる形で、別の仕組みに置き換わっています。
なるほど、関数が消えた代わりにURL側の対応が整ったんですね。では、SM120 Blackwellという新しいGPUで動かす場合、注意すべきバグはありますか。
あります。NVFP4 W4A16という量子化形式のモデルを、SM120 Blackwellで動かそうとすると、カーネルの準備段階で中断してしまいます。これは今後のリリースで対応する予定ですが、当面は非量子化モデルか、別のバックエンドで動かす必要があります。
量子化形式というのは、モデルのデータを圧縮して軽量化するやり方のことですよね。では、サーバーを長く回し続ける場合、メモリ周りで気をつける点はどこですか。
はい、正確にはモデルの重みや中間データを小さくして、GPUのメモリ使用量を抑える処理です。サーバーを長く回す場合、FlashInferというアテンション計算のバックエンドを使っていると、GPUメモリが徐々に減っていく現象が報告されています。バッチサイズが変わるたびに計算の計画が溜まってしまうためで、デフォルトのバックエンドに切り替えるか、バッチサイズを小さくすると回避できます。
FlashInferの計算計画が溜まる仕組みが、まだ掴めません。もう少しやさしく言うとどうなりますか。
メモリの引き出しに、使い終わった作業メモを片付けずにそのまま放り込むような状態です。引き出しがいっぱいになると新しい作業が入らなくなるので、デフォルトのバックエンドに切り替えると、この引き出しを自動で片付けるようになります。
調整役の仕組みが追加されたんですね。では、VisualGenで画像を生成する際、VAEという部品を別の場所に預ける設定は使えますか。
残念ながら、VAEをオフロードする設定だと、WanやCosmos3などの拡散パイプラインが読み込めずに失敗します。オフロードなしで動かす分には問題ないので、当面はGPUメモリ内に全て収める形で運用することになります。
最後の質問です。KVキャッシュのメモリ見積もりが保守的すぎるとありましたが、どれくらいの余裕があれば起動できるようになりますか。
具体的な数値はまだ公開されていません。報告によると、最大バッチサイズを下げるか、GPUの空きメモリ比率を上げることで起動が進むとありますので、現場で実際に動かしながら調整する形になりそうです。
出典
この記事のもとになった情報
- GitHub:v1.3.0rc26
- 公開日:2026-09-09
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。