axolotl v0.19.0 の新機能、モデル追加と最適化

ツール・基盤

axolotl v0.19.0 の新機能、モデル追加と最適化

スポンサーリンク

axolotl v0.19.0が公開。80 回対話のトークン化が 16 倍高速に。

この記事のポイント

  • 長い会話の処理が極端に遅い
  • テンプレートのトークン化を最適化
  • 大幅に高速化した。会話長に依存

数字で見る

この記事に出てくる数字

トークン化速度 16.4倍
メモリ 120 GiB

どこで使えるか

長い対話を扱う人向け。トークン化の高速化で待ちが短くなる GitHubリリースページから入手可能 B300 120 GiBで176.94Bモデル学習可

スポンサーリンク

解説

かみくだいて説明します

NanoCode012 さんが GitHub で公開した AI 学習ツール Axolotl のバージョン 19 から、モデルの追加が宣言型になりました。新しいアーキテクチャを追加する際、これまでバラバラだった設定ファイルの修正が不要になり、既存の設定もそのまま引き継がれます。
設定ファイルの修正が不要になるんですか。開発の手間が大幅に減りそうですが、具体的にどのくらい楽になるんですか。
正確には設定ファイルの書き換えが不要になるという意味です。モデルごとに決まったテンプレートを呼び出すだけで、違う部分だけを宣言すれば良くなりました。現場で言えば、既製品のパーツを組み立てるようなイメージで、自分で一から部品を削る必要がなくなります。
なるほど。では、モデルの追加以外に、学習の速度やメモリ周りで目立つ変更はありますか。
具体的には、80ターン分の処理が1577.6ミリ秒から96.4ミリ秒に短縮され、数字で見ると16.4倍の高速化が実現しています。特に長い会話ほどこの恩恵が顕著です。
体感としてかなり変わりますね。学習に使うメモリについても、具体的な数字はありますか。
Qwen の 176.94B のマルチモーダルモデルを、1 台の B300 で学習できます。必要なメモリはおよそ 120 GiB で、ple_cpu_offload を有効にすれば、少し処理速度が落ちても対応可能です。
1 台の B300 で 120 GiB といえば、従来では複数台必要だった規模ですね。このメモリ削減は、どのような仕組みで実現しているんですか。
計算で使わないデータを CPU のメモリに退避させる方式です。GPU のメモリが不足した場合、必要な部分だけを切り替えて処理を続けます。専門用語では量子化とオフロードを組み合わせた手法で、精度を落とさずに容量を圧縮しています。
精度を落とさずに容量を圧縮するんですか。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
正確には、情報を圧縮して保存する技術です。例えば辞書を縦書きから横書きに切り替えて文字数を減らすようなもので、中身の意味はそのまま残っています。学習の品質は維持しつつ、必要な領域だけを小さくしています。
辞書のレイアウトを変えるようなイメージですね。新しいモデルの対応数や、学習の最適化機能についても教えてください。
モデルファミリーの追加として、Ling 3.0 や Muse Glimmer 30B などが 6 つ加わり、最適化面では PoLoRA と AdamC の 2 つの新しいオプティマイザーが利用可能になりました。
6 つのモデルが追加されるんですか。開発者側から見ると、このバージョンの最大の位置づけはどのようなものになりますか。
開発者の観点から、このバージョンの最大の位置づけは、新しい宣言的モデルサポートシステムと7つの新モデルファミリ追加、そしてトークン化の16.4倍高速化です。
了解しました。最後に、今後の展開や、まだ見えていない課題はありますか。
TRL 1.9.0への対応でエントロピー正則化のパラメータが追加され、configurableなFP8スケーリングレシピやFlash Attentionのバックエンド切り替えも新機能として実装されています。

出典

この記事のもとになった情報

  • GitHub:v0.19.0
  • 公開日:2026-09-10

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤