DeepSpeed v0.19.7 の修正と新機能、分散学習のパフォーマンスを安定させる話

ツール・基盤

DeepSpeed v0.19.7 の修正と新機能、分散学習のパフォーマンスを安定させる話

スポンサーリンク

DeepSpeed v0.19.7が公開。分散学習の安定性と新ハードウェアに対応。

この記事のポイント

  • ZeRO-3のガードが不安定だった
  • DeepCompileでガードを安定化
  • ZeRO-3の保護が安定する

どこで使えるか

ZeRO出力の形式に悩まずに済む人向け。出力先やデータ型を柔軟に選べる GitHubのリリースページで公開済み DeepSpeedのバージョンアップで利用可能

動画を見る

スポンサーリンク

解説

かみくだいて説明します

deepspeedaiがGitHubで公開したDeepSpeedのバージョン0.19.7が、loadamsさんによって2026-09-17にリリースされました。チェックポイントのデータ型を自由に選べるようになったほか、ARMの新しい命令セットに対応したCPU演算の高速化も追加されています。
なるほど、チェックポイントのデータ型を自分で選べるようになったんですね。では、開発現場で実際にモデルを組み立てている技術者から見ると、どの部分が特に使いやすくなったんですか。
正確には、メモリに保存する重みの精度をfp16やbf16から選べるようになった点です。これまでは固定されていたので、実験ごとに保存形式を変えたかった場合に対応できませんでした。あとはAutoEPという複数の専門モデルを切り替える仕組みで、重みを保存する際のバランス調整が正確に動くよう修正されています。
複数の専門モデルを切り替える仕組みですね。そこが正確に動くようになったのは、研究で何度も試行錯誤している人にとって大きい気がします。では、モデルの重みを扱うときの速度や精度について、具体的にどう変わったんですか。
そうですね。例えばZeRO-3というメモリ分割の方式で、重みの更新を計算するMuonという手法が、これまでエラーも出ずに無効になっていたバグを修正しました。ログも残さずに止まっていた状態だったのです。これにより、大規模モデルを学習する際の精度が安定します。
エラーも出ずに止まっていたのが直ったんですね。Continuous Batchingという話ですが、バッチ処理と生成プロトタイプがどう結びつくのか、そこがまだ掴めません。
確かに分かりにくい表現です。リクエストが来るたびに個別に処理するのではなく、溜まったリクエストをまとめて一度に処理する仕組みです。画像の注文を1枚ずつではなく、10枚まとめて印刷機に渡すようなイメージです。これにより、同じGPU上で複数のユーザーが同時に文章生成を使える効率が上がります。
10枚まとめて印刷するイメージですね。では、macOSのMPSという機能に対応したCIワークフローの話ですが、これはMacで開発している人がテストを回しやすくなったということですか。
その通りです。MPSはMacのApple SiliconでGPUの計算を使うための仕組みで、これまでテスト環境で動かなかった部分を対応させました。これにより、Mac環境で開発している技術者も、コードの変更が壊れていないか自動で確認できるようになります。
Macでも自動テストが回るようになったんですね。では、Sparse Attentionを非推奨にした理由ですが、これは使われなくなった機能を整理したということですか。
そうです。長文のテキストを処理する際に、関係のない部分を飛ばすAttentionの方式でしたが、最近のモデルでは別の手法が主流になったため、維持コストが見合わないと判断しました。今後新しいプロジェクトでは使わない方針です。
主流ではなくなった機能を整理したんですね。最後に、今回のアップデートでまだ解決していない点や、次のバージョンで期待することはありますか。
具体的な日付や次の機能の予定については、そこはまだ分かっていません。ただ、今回のアップデートでZeRO-3の安定化やTritonの改善など、多くの修正が入っています。次回のリリースでさらに詳しい仕様が出されるでしょう。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤