NVIDIA TensorRT-LLM v1.3.0rc27が公開。MiniMax-H3 や Cosmos3 などの新モデル対応と、Anthropic 互換 API の追加。
この記事のポイント
- 旧APIを廃止した
- Anthropic互換のメッセージAPIを追加した
- 複数GPUでの推論には注意が必要
どこで使えるか
Anthropic API に寄せたい運用側向け。既存コードの改修を抑えられる GitHubリリースで公開済み B200/Blackwell GPU環境が必要
動画を見る
スポンサーリンク
解説
かみくだいて説明します
NVIDIAのTensorRT-LLMが、tongyuantongyuさんによってGitHubに公開したバージョン1.3.0rc27が、2026年9月18日に出ました。AnthropicのメッセージングAPIに合わせた形になり、MiniMax-H3やCosmos3といった新しいモデルのサポートも加わっています。
AnthropicのAPIに合わせたというのは、ほかのAIサービスと同じように呼び出せるようになるということですね。作る側からすると、既存のコードを大きく書き換えずに済むんですか。
そうです。Anthropicが公開しているメッセージの送受信やトークン数カウントの仕組みを、そのままtrtllm-serveというサービングツールで使えるようになりました。これまで独自のプロトコルで繋いでいた部分を、標準的な形に置き換えられるということです。
標準的な形に置き換えられると、開発の手間が減りますね。ただ、公開されているのはまだバージョン1.3.0のrc27とあります。rcというのはリリース候補版对吧。正式版になる前に、実際に導入する上で何が心配ですか。
既知の問題として、B200やBlackwell世代のGPUで、精度が落ちたり処理が止まったりするケースがいくつか報告されています。特にQwen3-235BをNVFP4で動かす場合や、GPT-OSSの推論で複数GPUを使う場合に起きやすく、環境変数を設定するか、設定をオフにするかで回避できる仕組みになっています。
精度が落ちたり処理が止まったりするというのは、推論結果がおかしくなったり、システムが固まったりするということですね。使うGPUの型番で対応が変わってくるなら、導入前に確認すべき条件はどれくらいありますか。
報告されているのは8つのモデルとバックエンドの組み合わせです。B300やGB300でMiniMax-M3を使う場合も、初期化時に落ちる可能性があるため、別の注意力の実装に切り替える必要があります。使うモデルとGPUの組み合わせごとに、回避策が別にあるということです。
使うモデルとGPUの組み合わせごとに、回避策が別にあるということですね。では、推論の速さやメモリ周りについて新しい仕組みは加わっていますか。
KVキャッシュの管理が大きなアップデートになっています。レイヤーごとのキャッシュの使い回しを自動的に分けたり、キャッシュのイベントをストリーミングで配信したりする機能が加わりました。
KVキャッシュという専門の言葉が出てきましたが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、モデルが前に読んだ文章を覚えておくためのメモ帳のようなものです。これまでは領域を固定で確保していましたが、必要に応じて動的に割り当てられるようになります。
メモ帳のように、使う分だけ準備すればよくなるということですね。研究している人から見ると、これが実際にどれくらい効率が変わるんですか。
正式版のベンチマーク数値は、このリリースノートには記載がないからです。rc版では動作確認が主で、性能の具体的な数値は正式版が出たあとに公開される見込みです。
正式版が出るまで数値は出ないということですね。最後に、このバージョン1.3.0rc27を使って開発を進める場合に、次に何が来るか教えていただけますか。
正式版への道筋としては、GPT-OSS Eagle3のmulti-GPU実行時のハングや精度低下、Triton MoEバックエンドでのW4推論のハングや精度低下などの既知の問題を順次修正し、追加されたAPIやモデルサポートの安定化を進める予定です。
出典
この記事のもとになった情報
- GitHub:v1.3.0rc27
- 公開日:2026-09-18
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。