TensorRT-LLMのv1.3.0rc29でQwen3.5やKimi K3の対応を進めた話

ツール・基盤

TensorRT-LLMのv1.3.0rc29でQwen3.5やKimi K3の対応を進めた話

スポンサーリンク

TensorRT-LLM v1.3.0rc29 で Qwen3.5 や Kimi K3 に対応。API 変更あり。

この記事のポイント

  • 性能低下を戻しQwen3.5を修正
  • パフォーマンス回帰を修正して動作を戻した
  • 複数モデルへの対応や修正

数字で見る

この記事に出てくる数字

FP8スケーリング global FP8
NVFP4グループサイズ 32
SM120/121 SM120/121

どこで使えるか

Qwen3.5やKimi K3を動かす人向け。FP8やNVFP4で性能低下を防ぐ GitHubで公開済み v1.3.0rc29はリリース候補版。正式リリースは未確認

スポンサーリンク

解説

かみくだいて説明します

NVIDIAがGitHubで公開したTensorRT-LLMのv1.3.0rc29は、2026年9月29日にtongyuantongyuがアップロードした開発者向け推論ライブラリの更新です。Qwen3.5やKimi K3、DeepSeek V4などの最新モデルに対応し、FP8やNVFP4といった低いビット数の演算を加速する機能が追加されています。
開発者向けのライブラリがこうして定期更新されているのはありがたいですね。では、今回新しく対応したモデルの中で、現場で一番注目されているのはどれになりますか?
技術的な注目度はDeepSeek V4とKimi K3に集まっています。DeepSeek V4にはMLA、マルチヘッドラテントアテンションと呼ばれる構造に対応し、Kimi K3にはNVFP4の演算パスを有効にするCuteDSLバックエンドが追加されました。これらはメモリ使用量を減らしながら、同じチップでより大きなモデルを動かすための仕組みです。
共有することでメモリが節約されるんですね。では、このライブラリを既存のシステムに組み込む際、注意すべき変更点はありますか?
MLAはマルチヘッドラテントアテンションの略で、図書室で各係員が自分の棚に本を保管する代わりに、共通の書架にまとめて置く設計です。データを一箇所に集約できるので、必要なキャビネットの数を減らせます。最大の変更点はAutoDeploy統合機能と、その公開エントリポイントが削除されたことです。これまでは自動デプロイメントを促すインターフェースが標準に組み込まれていましたが、今回のリリースでは完全に撤去されました。またCMakeビルドオプションからcpp_onlyが削除されています。環境を再構築する際には、これらの設定を必ず外す必要があります。
自動デプロイ機能がなくなるのは、運用側の負担が増えそうです。CMakeビルドオプションからcpp_onlyが削除されたのも、環境構築の手間が増える点ですね。
Helixのspeculative verificationが、FP8やFP4 MLA、DSparkグループにも使えるようになりました。
補助モデルで予測してメインが素通りするんですね。では、この仕組みは実際に動かすのに何が必要になりますか?
FlashInfer GDN prefillの機能は、SM120やSM121以上のアーキテクチャを持つGPUで有効になります。補助モデルの重みやNVFP4演算の条件とは異なり、こちらはハードウェアの世代が直接関係する仕様です。
ハードウェアの世代で使えるかが決まるんですね。SM120やSM121以上のアーキテクチャが必要なのは、既存のGPUではこの機能が使えない話ですね。
FlashInfer GDN prefillがSM120やSM121のアーキテクチャで有効になりますが、既存のGPUではこの機能は利用できません。
最後に、このリリースの次の展開について見通しはありますか?
要旨には正式版のリリース時期やIssue_trackerでの開発者の反応に関する記述がない

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤