mlx v0.32.4が公開。VJP 対応の拡充と GPU カーネルの最適化で動作が改善。
この記事のポイント
- vmap内のviewで誤動作していた
- viewの連続フラグとオフセットを修正
- Metalの空配列演算も同時に修正
数字で見る
この記事に出てくる数字
| GPUアーキ | sm80 |
|---|
どこで使えるか
vmap内のviewや非連続配列で誤動作していた人向け。勾配計算の対応範囲も広がる GitHub Releasesで公開済み Metal環境はM5以降推奨、ライセンスはMIT
スポンサーリンク
解説
かみくだいて説明します
ml-explore が運営する機械学習フレームワーク mlx のバージョン 0.32.4 を、zcbenz が 2026-10-15 に公開しました。
前回よりも機能が追加されたとのことですが、具体的にどのあたりが変わったんですか?
主に計算の精度と速度の改善です。特にスケーリングされたドット積アテンションという、文章の文脈を扱う仕組みの偏微分計算を新たに加えました。アテンションは長い文章を一度に処理する際に、どの単語同士が関係があるかを重み付けする役割ですが、この重みの調整をより正確に行えるようになったため、モデルの学習が安定します。
文脈を重み付けする仕組みの調整が正確になるんですね。では、現場でモデルを動かす技術者から見ると、手元の環境への影響はどれくらいありますか。
対応する Python のバージョンが 3.15 まで広がりました。それに加えて、Apple のチップを搭載した Mac でのメモリ使用量を減らす最適化や、CUDA を使う GPU 向けの行列計算を高速化するカーネルが追加されています。これまではエラーが出て止まっていた、要素が 1 つだけのスライスを負のステップで扱う処理や、複素数を含む逆三角関数の微分計算も修正しました。
Python 3.15 に対応し、Mac 搭載のチップや GPU 向けの処理も速くなったと。では、研究している人から見ると、今回の修正でこれまで何ができていなかったんですか。
ビュー操作やvmapの修正が多数あり、要素の並び順やメモリ上の位置がずれるバグを修正しました。
勾配が消えたりプロセスが固まったりする不具合が解消されるんですね。では、1 ビット量子化のサポートはどのチップで動きますか。
今回の更新ではMetal向けにSDPAのメモリ使用量が改善され、CUDA向けには量子化行列乗算のgather_qmmを最適化するfp_gather_qmvとgather_qmm_rhs_sm80が新たに追加されています
重みを 16 ビットから 1 ビットに圧縮するというのは、データそのものを小さくするということですか。そこがまだ掴めません。
正確には、数値を扱う桁数を減らすことです。例えば、100 円の商品の値札を 100 円から 1000 円に書き換えて、端数を切り捨てるイメージです。情報量は減りますが、計算に必要な精度は保ったまま、チップが処理するデータの量を大幅に減らせます。
値札の端数を切り捨てるイメージで、処理するデータの量を減らせるんですね。では、CUDA 向けの fp_gather_qmv はどの世代の GPU で有効ですか。
gather_qmvはgather_qmmを最適化するために追加されたCUDAの機能です。
量子化された行列の積を少ない演算回数で処理できると。では、このバージョンのリリース後、次のアップデートで予定されている機能はありますか。
次のアップデートで予定されている機能や日程について、そこはまだ分かっていません。今回の公開では、安定した動作環境を整える修正が中心だったためです。
最後に、開発チームが次に力を入れる方向性について、何か手がかりはありますか。
開発チームが次に力を入れる方向性については、今回の公開資料には明記されていませんが、チームの活動内容を見ると、新しい演算の追加や既存機能の修正が活発に進められています。
出典
この記事のもとになった情報
- GitHub:v0.32.4
- 公開日:2026-10-15
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。