Qwen3-0.6B の学習で損失計算を統一した trl、メモリと速度を改善

ツール・基盤

Qwen3-0.6B の学習で損失計算を統一した trl、メモリと速度を改善

スポンサーリンク

trlが v1.14 で損失計算を統一し、DPO と KTO のバグを修正した

この記事のポイント

  • 損失の二重実装でバグが混入
  • ログ確率をストリームする方式に改修
  • 制限は一部残るが性能は維持

数字で見る

この記事に出てくる数字

テスト環境 H100/0.6B

どこで使えるか

DPOやKTOでバグを避けたい人向け。ログ確率をストリームする方式に改修され、制限は一部残るが性能は維持 Hugging Faceで公開済み v1.14.0でchunked log-probsに置き換え

スポンサーリンク

解説

かみくだいて説明します

GitHub の albertvillanova が 2026-09-25、AI の学習を効率化するライブラリ trl のバージョン 1.14.0 を公開しました。これまでに存在した損失関数の計算モジュールを削除し、DPO や GRPO といった学習手法が各自で対数確率の値を流し込む形に書き換わっています。
計算のモジュールをなくして、それぞれの手法が自分で値を運ぶんですか。
そうです。それまでライブラリ側が計算式を二重に持っていたため、バージョンが上がっても片方だけ更新が追いつかず、学習の進み具合がずれたり、重要な設定が静かに無視されたりするバグが起きていました。今回は一つの式に統一し、GPU のメモリに一度に全てを載せず、必要な部分だけを取り出す仕組みに切り替えたのです。専門用語ではチャンク単位で対数確率を流すと呼ばれます。
チャンク単位で対数確率を流すというのは、具体的にどういうイメージなんですか。そこがまだ掴めません。
大きな荷物を一度に運ぶのではなく、箱に小分けにして、必要な分だけを何回かに分けて届けるようなものです。全部を一度に処理しようとするとトラックが溢れますが、小分けにすればトラックの大きさに関係なく、確実に届きます。一つの式に統一したため、メモリに載せる量も抑えられ、バグの原因だったズレも消えています。
小分けにして届けるんですね。それは具体的にどれくらい速くなるんですか。
一つの H100 という GPU で Qwen3-0.6B というモデルを動かした場合、従来の方式より 12.1% 速くなり、メモリ使用量は 31% 減りました。また、確率の計算を GPU 向けに最適化した新しい演算部品も追加され、従来のおよそ 14 倍の速度になっています。
14 倍の高速化は確かに大きいですね。その新しい演算部品は、専門用語でトリトンカーネルと呼ばれていますか。
そうです。トリトンカーネルとは、GPU が行う複数の計算ステップを、あらかじめ組み合わせた一つの部品にまとめたものです。料理で例えるなら、食材を一つずつ鍋に入れるのではなく、味付け済みの状態で一気に焼くようなイメージです。これまでは外部のサーバーからダウンロードする必要がありましたが、今回のバージョンからライブラリの中に直接組み込まれ、オフラインでも使えるようになりました。
外部のサーバーに頼らなくてよくなったんですか。
はい。ライブラリの中に直接入ったため、インターネットがない環境でも問題なく動作し、バージョンの整合性を気にする必要がなくなりました。ただし、この新しい演算部品は CUDA や ROCm、XPU に対応していますが、それ以外の環境では従来の PyTorch の実装に自動的に切り替わるようになっています。
では、今回の更新で使えなくなった機能はあるんですか。
実験段階の 6 つの学習トレーナーが削除されました。その中でも BCO というトレーナーは 1600 行のコードを持ちながら、二ヶ月間で実用的な学習が 11 回しかなかったため、依存していた外部ライブラリも含めて完全に削除されました。これにより、ライブラリのサイズが軽量化され、メンテナンスの負担が減りました。
1600 行のコードを丸ごとなくして、依存ライブラリも外したんですか。
そうです。実使用がほとんどないコードは、むしろバグの温床になるためです。削除基準としては、実際のユーザーがどれだけ使っているかや、安定版の機能で代替できるか、維持コストがどれくらいかという数字を基準に判断され、文書にも明記されています。
最後に、このバージョン 1.14.0 を使う際に、まだ解決していない課題はありますか。
はい。use_weighting や compute_metrics といった一部の高度な設定、そして lm_head への PEFT アダプターや MoE の補助損失については、今回の書き換えでは対応が見送られています。これらがいつ追加されるかは、そこはまだ分かっていません。

出典

この記事のもとになった情報

  • GitHub:v1.14.0
  • 公開日:2026-09-25

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤