ONNX Runtime CUDA Plugin EP の新しい機能、推論の高速化とリソース効率の話

ツール・基盤

ONNX Runtime CUDA Plugin EP の新しい機能、推論の高速化とリソース効率の話

スポンサーリンク

ONNX Runtime CUDA Plugin EP 0.3.0 が公開。推論の高速化とリソース効率の改善。

この記事のポイント

  • BlackwellでMXFP4対応を改善した
  • Blackwell GPUでMXFP4の対応を改善した
  • 信頼性を直す修正が入った

どこで使えるか

Blackwell GPUで推論を高速化したい人向け。SM90以上の環境が要る GitHub Releaseで公開済み ORT 1.24.4以上が必要。同一リビジョンビルド推奨

スポンサーリンク

解説

かみくだいて説明します

GitHub の tianleiwu が 2026 年 10 月 9 日に公開した ONNX Runtime CUDA Plugin EP 0.3.0 は、AI の推論を高速化する CUDA 向けの拡張機能です。このアップデートで、INT2 と INT4 を組み合わせた QMoE の実行や、スパースな注目の計算、パッキングされた連続バッチ処理が新たにサポートされました。
なるほど。INT2 と INT4 を組み合わせて動かすんですか。
はい。モデルの重みを INT2 に圧縮して動かす場合、前のレイヤーと次のレイヤーでビット幅を 2 と 4 で使い分けることができます。これまでは一つのモデル内で同じ精度に統一する必要がありましたが、今回はレイヤーごとに幅を選べるようになりました。
なるほど。レイヤーごとにビット幅を選べるんですね。
はい。通常のモデルはすべてのトークンに均等に注目しますが、今回のスパースな注目は必要な部分だけを選んで計算します。例えば辞書を引くとき、ページ全体を読むのではなく目次から必要なページだけを開くイメージです。これにより不要な計算を省き、メモリ使用量を抑えられます。
なるほど。不要な計算を省いてメモリを抑えるんですね。
はい。複数のリクエストをまとめて処理する際、それぞれの長さに合わせてデータを詰めて送ります。これにより GPU の空き容量を有効に使え、処理待ちの時間を減らせます。特に推論サーバーで複数のユーザーから同時にリクエストが来る場合に効果を発揮します。
なるほど。では、使う側の環境はどのように変わりますか。
ONNX Runtime のコアバージョンは 1.24.4 以上が必要ですが、推奨されるバージョンは 1.31.0 です。コアとプラグインでスキーマが一致していないと誤った実行やクラッシュの原因になるため、同じリビジョンからビルドすることが推奨されます。
なるほど。スキーマが一致しないとクラッシュする可能性があるんですね。
はい。Blackwell 世代のコンシューマー向け GPU においても MXFP4 形式のサポートが改善されています。これにより、より低い精度で重みを扱いつつ、品質を維持した推論が可能になります。
なるほど。では、Qwen4-Exp や DeepSeek V4 への対応はどうなっていますか。
はい。Qwen4-Exp の QSA 形式や DeepSeek V4 の CSA 形式に対応した注目の演算子が追加されています。具体的には Qwen4-Exp 向けの EngramGate や NGramHashMapping が拡張され、DeepSeek 向けの VarlenNGramHashMapping も追加されました。
最後に、今後の展開やまだ分からない点はありますか。
現時点では、このアップデートが既存のワークロードに与える具体的な性能向上の数字は公開されていません。また、INT2 と INT4 を組み合わせた実行が対応する GPU の世代については、SM80 以上と記載がありますが、それ以下の世代での動作保証についてはそこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤