Meta が AMD GPU で大規模学習を最適化するための設計原則とツール、コスト削減の話

論文

Meta が AMD GPU で大規模学習を最適化するための設計原則とツール、コスト削減の話

スポンサーリンク

Metaが AMD GPU での大規模学習を最適化し、訓練スループットが最大 1.5 倍向上。

この記事のポイント

  • 他ベンダーへの移植が難しかった
  • 3つの原則でAMD GPUを最適化
  • 直接移植比で最大1.5倍向上

どこで使えるか

AMD GPUでAI学習を最適化したい人向け。ベンダー依存を脱し、スループット向上を狙える

スポンサーリンク

解説

かみくだいて説明します

Haoyu Zhangらの研究チームが 2026年10月16日に公開した論文によりますと、Meta は NVIDIA の GPU と AMD の GPU、それに自社開発の MTIA アクセラレータを組み合わせて AI の学習を行っています。直接持ち옮긴場合を基準にすると、学習の全体速度が最大で 1.5 倍になる手法を提案しています。
Meta が自社で使う機械を混ぜて使う話なんですね。では、NVIDIA の GPU から AMD の GPU に作り替えるとき、具体的にどこを直せば速くなるんですか?
大きく分けて三つの考え方を出しています。一つ目はハードウェアとモデルを一緒に設計することです。NVIDIA の GPU に合わせて作られたモデルの形をそのまま持ってくるのではなく、AMD の MI350X という型が持っているメモリ容量の差を生かせるように、モデルの構造そのものを書き直します。二つ目は性能を計算するモデルを作って、使うデータの種類や行列の大きさによって最適な演算の選び方を自動で決める仕組みです。三つ目は AI が自分でコードを書き換える仕組みを使い、NVIDIA の開発環境から持ち옮기는作業を自動化しています。
性能を計算するモデルで最適な選び方を自動で決める、というのは具体的にどういうことですか。そこがまだ掴めません。
例えば、料理で使う包丁を食材に合わせて自動で選ぶイメージです。切るものの硬さや大きさによって、使う包丁の種類と切り方をプログラムが事前に全部計算して決めてしまいます。実際に包丁を振って試す回数をゼロにできるということです。
実際に試さずに、使う前に全部計算で決めてしまうんですね。では、その包丁選びを AI に任せる作業は、実際に動かすのに何が要りますか。
専門のプログラムをそのまま使うのではなく、AI が AMD の GPU の中の回路の仕組みに合わせて、必要な部分だけを新しく書き換える部品を自動で作ります。現場の技術者が一つひとつ手動で調整する手間が大幅に減ります。
手動で調整する手間が減るなら、現場の技術者はかなり楽になりますね。では、メモリ容量が 1.6 倍違うという話がありましたが、それは具体的にどれくらい速度に響くんですか。
提案した三つの手法を全部使った場合、直接持ち옮긴場合を大きく上回る速度が出ます。メモリ容量が大きいということは、一度に処理できるデータ量が増えるので、GPU 同士がデータをやり取りする待ち時間が減ります。それと、先ほど言った性能を計算するモデルで最適な演算の選び方を自動で決めてくれるおかげで、試行錯誤の回数が激減します。
試行錯誤の回数が激減するというのは、実際にモデルを動かす前に、使うデータに合わせて最適な設定を計算機が全部決めてくれるということなんですね。では、この手法はすでに Meta 以外の会社でも使えますか。
はい。Meta からの貢献は、オープンソースの PyTorch、Triton、ROCm という三つの開発環境に既に組み込まれています。つまり、Meta 以外のチームでも、これらの開発環境を使っていれば同じ手法をそのまま適用できます。大手のクラウド事業者が AMD の GPU を大規模な学習に本番運用で使うという報告は、これが初めてだと研究チームは述べています。
開発環境に既に組み込まれているなら、他の会社も迷わず導入できそうです。では、研究している人から見ると、どこが新しいんですか。
これまでは NVIDIA 向けの最適化が長年蓄積されていたため、別の機械に移すだけで性能が落ちるというのが定説でした。今回、モデルの構造そのものを書き直すことと、AI による自動調整を組み合わせることで、逆転して速度を上げられることを実証した点が新しいです。
別の機械に移すと性能が落ちるというのが定説だったんですね。では、まだ解けていない課題はありますか。
論文では推薦モデルの学習をケーススタディとして取り上げています。他の種類のモデルや、より大きなデータセットでの検証結果については、そこはまだ分かっていません。
最後に、この手法がこれからどう広がっていく見通しですか。
その貢献はオープンソースのPyTorch、Triton、ROCmエコシステムにアップストリームされています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文