大規模モデルをSFTで学習する TRL、AWS TrainiumとMuse Spark Openに対応

ツール・基盤

大規模モデルをSFTで学習する TRL、AWS TrainiumとMuse Spark Openに対応

スポンサーリンク

TRLがAWS TrainiumとMuse Spark Openに対応し、Tree Attentionで共有トークンの再計算を削減した

この記事のポイント

  • Neuronで入力形状ごとに再コンパイル
  • 入力形状ごとのパディングを自動設定
  • 20ステップで260秒から130秒に短縮

どこで使えるか

共有トークンの再計算を減らしたい人向け。2.97倍の高速化とメモリ削減が見込める。 GitHubリリースからpipで入手可能 Neuron用はpad_to_multiple_of変更注意

スポンサーリンク

解説

かみくだいて説明します

GitHubのqgallouedecが2026-10-16に公開したhuggingface/trl v1.16.0です。AWSのTrainiumチップでの学習に対応し、非同期GRPOの処理にTree attentionという仕組みを加えました。
Tree attentionというのは、具体的に何を改善するんですか?
複数の回答を並列で生成する際、同じプロンプト部分の計算を一度に済ませられるようにしたものです。従来は同じトークンを行ごとに何度も転送していましたが、共有部分を一本の木の幹としてまとめて扱います。メモリ使用量が最大およそ半分になるケースもあります。
確かに計算量が減りますね。では、訓練する技術者から見ると、使うのに何が必要ですか。
追加の設定は不要です。Neuron環境ではpad_to_multiple_ofがautoにdefaultsしますが、GPU環境ではNoneのままです。v1.15で導入したfused LM headが既に動いていれば、そのまま学習が始まります。
環境によらず自動で切り替わるんですね。では、大規模モデルの訓練ではどうなりますか。
Muse Spark Openの816Bモデルを8ノードの8×H100で動かした結果、1ステップあたり14.2 s/step、131kトークンを処理し、GPUあたりのメモリ使用量は40.2 GBでした。分散設定はFSDPを64、EPを8にしています。
8ノードで40.2 GBに収まるのは助かります。では、AMDのGPUも使えますか。
使えます。非同期GRPOと非同期distillationのtrainerでAMDのGPUに対応しました。ROCm環境ではrolloutワーカーからGPUを隠す処理も追加しています。
非同期のtrainerがAMDにも広がりました。では、ツール呼び出しの引数には何が変わりますか。
引数がツールごとに定義されたJSON schemaに合わせて型付けされるようになりました。従来はモデルが出力した生の文字列をそのまま使っていましたが、今度はschema通りに数値や真偽値が入るようになります。
型が揃えば後続の処理も安定しますね。最後に、既存のスクリプトはそのまま動きますか。
動きます。ただしvLLM 0.21.0のサポートを切り、accelerate>=1.10.1を必要とします。古い環境で動かす場合は依存関係を手動で更新する必要があります。
依存関係の更新は事前に済ませておきます。
次はTRLの最新アップデートで、AWS TrainiumでのトレーニングやTree attentionなどの新機能が追加されています。

出典

この記事のもとになった情報

  • GitHub:v1.16.0
  • 公開日:2026-10-16

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤