FlashAttentionの核融合が XDNA 2 で演算効率を 2 倍にし、GPU より最大 7.2 倍の省エネを実現した
この記事のポイント
- 中間テンソルの配置が不明確
- FlashAttentionを4設計で比較
- XDNA2で2倍。ただしXDNA1では効果薄
数字で見る
この記事に出てくる数字
| 最大トークン数 | 128K |
|---|
どこで使えるか
空間NPUで演算効率を上げたい人向け。中間テンソルの配置設計が要る 論文の付録または著者連絡先で公開予定 IRON/MLIR-AIRフローのソースコードは別途公開予定
スポンサーリンク
解説
かみくだいて説明します
空間型NPUであるAMD XDNAは演算タイルの横に小容量メモリを配置し、データ移動をソフトウェアに任せていますよね?
確かにその通りです。中間テンソルの配置設計が性能を左右します。
複数の演算をまたぐFlashAttentionのようなワークロードを載せるのは、確かに難しそうですよね?
その通りです。従来のナイーブな実装では中間結果が共有メモリに書き戻され、帯域幅がボトルネックになります。
研究者はオープンソースのIRONとMLIR-AIRフローを使って、4つの参照設計をXDNA 1とXDNA 2で比較しました。
そのアプローチって、具体的にはどういう仕組みなんですか?
全3ステージを1つのカーネルに融合し、QK^Tスコアを演算タイルのローカルメモリに保持します。部分結果はカスケードインターコネクト経由で減算し、共有MemTileメモリには決して戻しません。
共有メモリへの往復を完全に回避する設計なんですね!
実際の性能向上幅はどれくらいになるんですか?
XDNA 2ではエンドツーエンド実行で3.62 TFLOP/sを達成し、IRON設計の2倍です。2Kトークン以上では同一チップの統合GPU比で5.3倍から7.2倍のエネルギー効率を記録しました。
128Kトークンまで対応しているモデル構成は幾つあるんですか?
BERTからDeepSeekまで12構成を網羅しており、各メモリレベルのピーク性能であるリッジポイントと比較することで、融合をいつ停止すべきかを事前に予測できます。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。XDNA 1はリッジポイントが低いためストリーミングだけで演算束縛域に達しており、同じ融合手法はほぼ無駄になります。設計負荷とデバイス特性のマッチングが不可欠です。
実際の試し方はどうすればいいんですか?
参照設計はメンテナンス付きのオープンソースとして公開されていますので、ぜひご利用ください。
FlashAttentionの最適化手法は、空間型NPUにおけるデータ配置の設計指針として広く活用できます。
今後の発展が本当に楽しみです!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。