huggingface/trl が v1.14.2 に。vLLM 以外での生成を直し、3つのクラッシュを修正
この記事のポイント
- 生成終了を正しく検出できなかった
- eos id で生成を停止するよう修正
- vLLM利用時は指標が正確でない
数字で見る
この記事に出てくる数字
| 修正バグ数 | 2+3 |
|---|
どこで使えるか
RLHFや蒸馏でvLLMを使わない人向け。eos id での生成停止が正常に動く GitHubリリースで公開済み vLLM使用時はuse_vllm=Falseが対象
スポンサーリンク
解説
かみくだいて説明します
huggingface の機械学習ライブラリ trl のバージョン 1.14.2 が、10 月 7 日に公開されました。qgallouedec さんが GitHub で報告した修正版で、学習中に静かに間違ったデータを処理していた 2 件の不具合と、プログラムが止まる 3 件のトラブルを直しています。
学習中に間違ったデータを処理していたんですか。具体的にどこが間違っていたんですか。
はい。GRPO や RLOO、それから Distillation という学習手法で、生成を止めるべき場所で止まらずに、必要のない文章までモデルが覚えてしまう現象でした。具体的には Gemma 3 や Phi-3.5 といったモデルで、文末の記号が設定にしか記録されていない場合、生成された文章が予定より長くなっていました。画面に表示される clipped_ratio という数値がほぼ 1 になるところが唯一のサインでした。
止まるべき場所で止まらないと、余計な文章まで学習に使ってしまうわけですね。では、修正後の v1.14.2 ではどう変わったんですか。
修正後は文末の記号が出た時点で生成を正しく止めるようになりました。ただし vLLM という高速推論ツールを使っている場合は生成は止まっても表示される数値がまだずれていたため、そちらの表示値も合わせて直しています。tokenizer の文末記号が唯一の終了合図になっているモデルの学習結果は、今回の修正前と変わっていません。
高速推論ツールを使っている場合でも、表示される数値がずれていたんですね。モデルを訓練している技術者から見ると、どのくらい負担が減るんですか。
その通りです。修正前は clipped_ratio が 1 に近づいても異常に気づきにくく、学習が完了してから初めてデータがずれていたことに気づくケースがありました。修正後は文末で正しく止まるため、不要な文章が混入するリスクがなくなります。その上で FSDP という並列処理の環境で、参照モデルを指定しなくても学習を進める処理も正常に動くようになりました。
参照モデルなしでも正常に動くようになったんですか。FSDP という言葉は聞きなれないんですが、どういう仕組みなんですか。
FSDP は大きなモデルを複数の計算機に分散して学習する仕組みです。例えば 1 台の機械では入り切らない辞書を、何冊かに分けて机を並べ、同時にページをめくるイメージです。これまでに参照モデルがない状態でこの分散処理を使うと、必要な計算結果が準備される前に次のステップに進もうとしてエラーが出ていました。
何冊かに分けて同時に進めるから、準備が整っていないと止まっていたわけですね。では、修正版を使うには特別な手順が必要なんですか。
特別な手順は必要ありません。GitHub から最新版をダウンロードするか、pip というパッケージ管理ツールでアップデートするだけで適用できます。ただし vLLM のクライアント側で使われている requests や urllib3 というネットワーク通信の部品が、予期せぬ環境でエラーを出さないようガード処理も追加されています。
pip でアップデートするだけでいいんですね。確かに手間が省けます。最後に、今回の修正でまだ解決していない課題はありますか。
修正対象となった GRPO や RLOO、Distillation の手法は、vLLM を使わないデフォルトの生成パスに限られています。vLLM を使った場合の表示値のズレは直しましたが、他の生成パスや異なる文末記号の組み合わせでの挙動については、今回の材料には記載がありません。そこはまだ分かっていません。
出典
この記事のもとになった情報
- GitHub:v1.14.2
- 公開日:2026-10-07
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。