GPU のメモリを減らす BitSparse、ReLu 系ニューラルネットワークの学習で使う話

論文

GPU のメモリを減らす BitSparse、ReLu 系ニューラルネットワークの学習で使う話

スポンサーリンク

活性化キャッシュをGPU上で無損失圧縮し、学習時のメモリを削る手法を発表

この記事のポイント

  • LLM 訓練のメモリ削減が課題
  • BitSparse による損失なし圧縮を実装
  • 実用シーケンス長で VRAM 削減成功

数字で見る

この記事に出てくる数字

Nemotron-H削減 30%

どこで使えるか

arXivで公開済み Tritonカーネル使用。GPUメモリ最適化向け

スポンサーリンク

解説

かみくだいて説明します

Max Zhuらの研究チームが、2026年10月16日にarXivへ論文を出しました。大規模言語モデルの学習メモリを減らす「BitSparse」という圧縮技術です。Bfloat16やFP8のデータをGPUの中で圧縮し、逆伝播で正確に戻せます。Modded-NanoGPTとNemotron-HでVRAMの削減を確認しました。
GPUの中で直接やるんですか。現場で組み込む技術者から見ると、いまのやり方と置き換える話ですか。
置き換える話です。Tritonという仕組みで学習の前後に組み込みます。追加のセットアップは要りません。符号ビットを詰めるオプション次第で、圧縮率は大きく変わります。
論文を書いた研究者から見ると、圧縮率は実際どれくらい変わるんですか。
符号ビットをまとめて詰めるオプションをつけると、理論上の限界に近づきます。Modded-NanoGPTでは31%、Nemotron-Hでは30%の削減を確認しました。
そこがまだ掴めません。逆伝播で正確に戻すのは、学習のどの段階ですか。
画像や文章を覚える作業をイメージしてください。前向きにデータを通したあと、今度は誤差を逆に遡って修正します。その時に、覚えたデータを圧縮したままでも、元の形にきっちり戻せるということです。
なるほど、戻せるから精度が落ちないんですね。では、サイズが変わるデータはどうなりますか。
事前にメモリを確保する仕組みを入れました。サイズが変わっても、CPUとGPUの間で同期を取る必要がなくなります。
同期を取らないとありますが、速度は実際どれくらい変わりますか。
実用上の長さでは1%以内の追加コストです。速度が落ちる心配はほとんどありません。
最後に、これから広く使われる見込みですか。
論文ではModded-NanoGPTとNemotron-Hの2モデルで検証し、VRAMを最大31%削減しています。
あわせて、今月にはLLMの効率化において活性化のスパース性を活用する別の研究も出ています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文