Axolotl v0.21.0が公開。501B モデルの QLoRA 単ノード学習と拡散言語モデル学習に対応。
この記事のポイント
- 大規模MoEの単一ノード微調整が難しかった
- QLoRAとexpert-parallel LoRAレシピを追加
- 8xH200ノードやB200環境で実行可能
数字で見る
この記事に出てくる数字
| パラメータ数 | 501B |
|---|---|
| アクティブパラメータ | 23B |
| GPU構成 | 8xH200 |
どこで使えるか
501B級MoEを単一ノードでQLoRA微調整したい人向け GitHubリリースページで公開済み vllm>=0.30.0が必要、ライセンスはApache-2.0
スポンサーリンク
解説
かみくだいて説明します
NanoCode012がGitHubで公開したAI学習ツールAxolotlのバージョン21が、10月16日にアップデートされました。501Bパラメータの大型モデルを、1台のノードで微調整できる機能が目玉です。
501Bパラメータを1台で動かすんですか。どうやって可能になったんですか?
重みのデータを圧縮するQLoRAという技術に対応したためです。8xH200を積んだ1台のノードで、23Bパラメータだけを動かせば処理が完結します。
圧縮して必要な部分だけ動かすんですね。では、画像学習のサポートは従来と何が違うんですか?
画像とテキストを組み合わせたモデルに対して、正解と不正解のペアを使って学習するDPOやKTO、GRPOといった手法を、これまでテキスト専用だった部分を拡張して使えるようになりました。QwenやGemmaといったモデルが対象です。
画像と文章をセットで評価するんですか。では、プラグインの自動読み込みは現場の作業がどう変わるんですか?
従来は設定ファイルにプラグインの名前を一つ一つ書く必要がありましたが、pipパッケージとして公開するだけで自動的に認識されるようになりました。並列処理の制御なども同じ仕組みになったため、設定の手間が大幅に減ります。
設定の手間が減るんですね。では、読み込み時間がおよそ20分からおよそ6分になったのは、どの規模の話ですか。
500Bクラスのモデルを対象にしています。Expert並列という仕組みでモデルを複数の専門分野に分け、各GPUが自分の担当部分だけを担当する形にしたためです。モデルを複数のスタッフが別々のセクションに分かれて作業し、同じ部屋の中で資料をやり取りするイメージです。
同じ部屋で資料を回すだけなら、回線が詰まらなくなるんですね。
その通りです。これに加えて、1バッチごとの教師データの偏りを均すbalance_labelsという機能も標準で入りました。FineTomeというデータセットで試した結果、標準偏差が990から322に下がりました。
標準偏差が990から322に下がるんですね。では、最後に気をつける点はありますか。
FlashAttentionの専用パッケージが不要になり、代わりにハブ上のカーネルを使うようになったため、環境構築の手順が一部変わります。また、旧形式のdiffusion設定は警告を出しながら新しい形式に自動変換されますが、直接新しい形式で記述することをお勧めします。
出典
この記事のもとになった情報
- GitHub:v0.21.0
- 公開日:2026-10-16
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。