ONNX Runtime 1.31.0 の CPU 推論とモデル読み込みを改善した話

ツール・基盤

ONNX Runtime 1.31.0 の CPU 推論とモデル読み込みを改善した話

スポンサーリンク

ONNX Runtime 1.31.0が公開。CPU の読み込みと MoE 推論が速くなり、API も安定版に。

この記事のポイント

  • CPUモデルの読み込みが遅い
  • 重み前パックを並列化しMoE推論を高速化
  • メモリ制限グラフ分割で検証可能。ACL EPは廃止

数字で見る

この記事に出てくる数字

ONNX依存 1.22.0

どこで使えるか

GitHubリリースページから入手可能 CUDA/WebGPU Plugin EPは別リリース

スポンサーリンク

解説

かみくだいて説明します

GitHubの tianleiwu が 2026年10月9日に、機械学習モデルの推論エンジン ONNX Runtime のバージョン 1.31.0 を公開しました。モデルパッケージの読み込み API と実行コンテキストのデータ コールバックが安定版になり、CPU のモデル読み込み速度と量子化 MoE の推論が改善されます。
API が安定版になるというのは、開発者が使う側で何か変わるんですか?
今までは実験段階の呼び出し方だった部分が、正式な仕様として固定されます。これまではファイルシステムに一旦書き出す必要があったデータ管理が、メモリ上で直接やり取りできるようになります。
メモリ上で直接やり取りできるなら、処理の待ち時間はどれくらい減るんですか?
具体的な数値はリリースノートに明記されていませんが、重みの前処理を並列化することで初期化のオーバーヘッドを削減したとあります。量子化された MoE の expert 処理も、MLAS QNBit カーネルとグループ化された expert dispatch で高速化しています。
MoE の expert 処理をグループ化して高速化するという話ですが、expert というのは模型の中のどの部分を指すんですか?
模型が巨大な問題を解くとき、全部の計算を同時に回すのではなく、必要な部分だけを切り替えて動かす仕組みです。辞書を引きながら文章を書くのではなく、質問の内容に合わせて必要なページだけめくるようなイメージです。
なるほど、必要な部分だけ動くなら消費電力も抑えられそうです。実行環境の選び方はどう変わるんですか?
CoreML の参加が追加され、Apple Neural Engine を PREFER_NPU という指定で選択できるようになります。それに加えて、ワークスペースのメモリ使用量を計上して、確保した容量を超えたら初期化で失敗する厳格な検証モードも用意されています。
メモリを超えたら失敗するというのは、エラーで止まるということですか?
そうです。session.strict_workspace_verification を 1 に設定すると、宣言された容量を超過した場合や、余分な予約が残った場合に初期化を拒否します。ただし ORT 形式のモデル読み込みではこの厳格な検証はサポートされていません。
では、既存のモデルを動かす側の互換性はどうなっていますか?
ONNX の依存バージョンは 1.22.0 のままです。1.23 の統合は上流の修正待ちで一旦取りやめになったため、新しい opset や FLOAT6 のサポートはこのリリースには含まれていません。プラグイン EP とコアのバージョンを合わせないと、実行が正しく動かないかクラッシュする恐れがあります。
最後に、今回の更新で使えなくなった機能はありますか?
ACL EP が非推奨になり、将来のリリースで削除されます。ソースビルドで --use_acl を使うと非推奨の警告が出るようになります。それ以外の詳細な仕様やカーネルの更新内容は、CUDA Plugin EP v0.3.0 や WebGPU Plugin EP v0.5.0 の個別リリースノートで確認できます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤