axolotl v0.20.0 で追加された新機能と変更点、開発環境のアップデート

ツール・基盤

axolotl v0.20.0 で追加された新機能と変更点、開発環境のアップデート

スポンサーリンク

axolotl v0.20.0が GGUF 書き出しや NVFP4 LoRA を追加。Python 3.12 以上が必須に

この記事のポイント

  • FSDP2 QLoRAでGPU OOM
  • FSDP2 QLoRAはCPUで量子化
  • 条件付きでデフォルトオン

数字で見る

この記事に出てくる数字

コミット数 67
Python最小 3.12
torch最小 2.13.0

どこで使えるか

QLoRA学習でGPU不足を避けたい人向け。CPUで重みを量子化し分散ロードする GitHubリリースページで公開済み ライセンスはApache-2.0

動画を見る

スポンサーリンク

解説

かみくだいて説明します

NanoCode012が2026-09-30に公開した学習フレームワークaxolotlのv0.20.0が、v0.19.0から67の更新をまとめてリリースしました。GGUF形式へのエクスポートやリングマスターによるコンテキスト並列学習、そしてNVFP4を使ったローラ学習が追加されています。
長い文章を一度に処理できるようになったんですか?
はい。リングマスターは、モデルを複数のGPUに割いたときに、それぞれのGPUが持つ文脈の切れ目を繋ぎ合わせる仕組みです。例えば長い本を何人かの担当者に配って読んでもらい、最後に全員で内容をすり合わせるイメージです。これにより、従来の数倍の長さのデータセットをそのまま学習に回せるようになりました。
担当者が読む分量が増える分、GPUのメモリはどれくらい消費するんですか?
GPUをまたぐリングマスターのコンテキスト並列で、UlyssesやRing、USPのバックエンドを使って長いシーケンスを扱えるメモリ効率の良いトレーニングに対応しました。
では、NVFP4のローラについてはどうですか?
NVFP4はモデルの重みを4ビットで扱う量子化方式です。ローラは学習コストを抑えるための手法で、このNVFP4の重みを凍結した状態でローラだけを学習できます。重要なのは、学習後に重みを結合したときに、もとの精度が保たれるように訓練するマージアウェアな学習がデフォルトで有効になっている点です。
4ビットに圧縮する意味がまだ掴めません。
重みを細かく区切ることで、GPUが一度に処理できるデータ量を増やす仕組みです。例えば、大きな荷物を小さな箱に詰め替えて運ぶようなものです。マージアウェアな学習は、詰め替えた後の箱の重さが元の商品と変わらないように、訓練段階で調整しているわけです。
現場で組み込む技術者から見ると、手元で動かせますか。
はい。Python 3.12とtorch 2.13.0以上が最低要件ですが、ローカル環境やクラウド上のGPU環境でそのまま使えます。クラウド側の設定ファイルにプロバイダー名を書くだけで、BasetenやNebius Serverless Jobs、Modalへのリモート学習も起動できます。
最後に、今後の見通しはどうなっていますか?
今回は67件のコミットが入っていて、GGUF書き出しやRingmasterでの文脈並列化、ネイティブNVFP4のLoRA、DeepEPなしの専門家並列化が追加されました。あとPython 3.12とtorch 2.13.0が最小要件になって、FSDP1は削除されています。

出典

この記事のもとになった情報

  • GitHub:v0.20.0
  • 公開日:2026-09-30

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤