AMDのGPU向けカーネル生成を支援するQwen3-8Bのトレーニング手法

論文

AMDのGPU向けカーネル生成を支援するQwen3-8Bのトレーニング手法

スポンサーリンク

AMDKernelVaultの Qwen3-8B が、固定予算で正解率が最も高くなった

この記事のポイント

  • CUDA依存で高コストな既存手法の課題
  • PyTorch参照からROCm上で検証・プロファイルするパイプラインを開発
  • 3モデル比較で正答率最高だがコンパイルや速度では一様に優れなかった

数字で見る

この記事に出てくる数字

HIPカーネル数 62,153
Tritonカーネル数 39,893
ROCmBench精度 41.94%

どこで使えるか

AMD GPU向けカーネル生成を自前で試す人向け。固定予算で正解率を重視する評価に向く Hugging FaceとGitHubで公開済み

スポンサーリンク

解説

かみくだいて説明します

Ji Liu さんたちの研究チームが、AMD の CDNA アーキテクチャ向けに、HIP と Triton という 2 つの GPU 言語用のカーネル生成フレームワークと、それを学習させるためのデータセット「AMDKernelVault」を公開しました。
研究チームがデータセットと学習手法をセットで出したのは珍しいですね。このデータセットの中身は、どれくらいの規模なんでしょうか。
実行が確認できた HIP 言語のカーネルが 62,153 個、ROCm Libraries の QA データが 2,377 件、Triton 言語のカーネルが 39,893 個です。これらを元にして、Qwen3-8B というモデルを教師あり学習と実行結果を評価する強化学習で調整しました。
そこがまだ掴めません。モデルが自分で書いたコードを動かして、間違っていたら直していく訓練ってことでいいんでしょうか。
正確には、モデルが生成したカーネルを ROCm 環境でコンパイルし、AMD の GPU 上で実際に動かしたときの遅延時間をプロファイルします。その結果を基に、モデルは学習を進めます。
だとすると、既存の CUDA 向けのツールと比べて、どこが新しくなるんですか。
既存の手法は NVIDIA の CUDA に依存していて、生成や検証に大規模な言語モデルを何度も呼び出す必要がありました。今回のパイプラインは、PyTorch の参考コードから直接 HIP や Triton のカーネルを生成し、ROCm 上でコンパイルと遅延プロファイルを一貫して実行します。比較モデルの中では、PyTorch から HIP への変換で 34.0% の Pass@1、TritonBench-G で 33.2% の Corr@3、ROCmBench で 41.94% の Corr@3 を記録し、正答率で最も高い数値を出しました。
正答率は一番高いんですね。では、コンパイルの成功率や実際の処理速度はどうなんでしょうか。
比較条件を同じにした評価予算の中で測った結果、コンパイルや速度の指標では必ずしも上位を独占していません。正答率は一番高いですが、コンパイルや速度の指標では必ずしも上位を独占していません。
現場でこのフレームワークを組み込む場合、手元で動かすには何が要りますか。
公開されているデータセットと学習コードは、Hugging Face と GitHub で利用可能です。AMD の CDNA アーキテクチャを搭載した GPU と、ROCm 開発環境が準備できれば、提示されたパイプラインに沿ってモデルの再学習やカーネル生成を試すことができます。
では、この手法が実用に耐えうるかどうかが気になります。
一律にリードしていないので、実用への道はまだ開けていません。どの指標で差が出るかは、今後の評価次第です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文