Unsloth Desktopが、Layaの判断を最大4.1倍高速化し、4bitチェックポイントでメモリを大幅削減
この記事のポイント
- 4bitチェックポイントでメモリ不足
- オンザフライでデキューズし転送
- Qwen3.8-27Bで40GBに削減
数字で見る
この記事に出てくる数字
| Laya短リク速度 | 4.1x |
|---|
どこで使えるか
Layaの短い判断を高速化したい人向け。B200で2.8msに。 v0.1.902-betaで公開済み 短リク限定。長文では同速度、ライセンスはApache-2.0
動画を見る
スポンサーリンク
解説
かみくだいて説明します
danielhanchenが公開したUnsloth Desktopの更新で、コマンドパレットや共有設定、エラー表示が見やすくなりました。Layaの判断が最大4.1倍速くなり、4ビットのままのチェックポイントをLoRA学習でそのまま扱えるようになりました。
4ビットのまま学習できるんですか。16ビットに一度戻す必要がなくなったのは、環境構築の負担がどれくらい減るんですか。
そうです。Tritonというカーネルが層ごとに解凍をかけるため、16ビットのコピーをメモリに作らなくてもよくなりました。INT4の場合は従来のNF4のように2回丸め直す必要がなく、重みを正確に保ったまま学習を進めます。
重みを正確に保てると、精度が落ちないんですか。従来のNF4方式だと丸め直しが2回あったんですか。
落ちません。実際、Qwen3-8Bで従来のNF4方式だとパープレキシティが1.6%上がっていましたが、INT4のままにしたときはその差が出ませんでした。作っている技術者から見ると、メモリを節約しつつ学習品質を維持できるのが一番のポイントです。
メモリ節約の具体的な数字はどれくらい変わるんですか。72.9GBから40.2GBに下がったのは、1枚のGPUで済むんですか。
Qwen3.8-27B-NVFP4の場合、RTX PRO 6000で従来の72.9GBから40.2GBに下がりました。ステップ数も11%短くなっています。gpt-oss-120bはMXFP4のまま1枚のB200で学習でき、16ビットのコピーなら2TB必要だったKimi-K2.7-Codeも6枚のB200で済みます。
Kimi-K2.7-CodeはINT4で6枚のB200、16ビットのコピーなら2TB。ラック1台分の計算ですね。
Layaの読み込みが約9秒になって、読み込みは約半分で済むようになります。
では、画像モデルの速度はどう変わるんですか。38.4秒から2.3秒に短縮したのは、VRAMが10GiBしかない環境でも動くんですか。
10GiBに制限したB200でZ-Imageを動かすと、従来の38.4秒から2.3秒に短縮しました。Qwen-Image-2.1はRadeon 8060Sで1536x1536の画像を最大3.6倍速く生成できます。オフロード時もINT8やFP8の状態で扱えるため、VRAMの不足で止まるケースが減ります。
38.4秒から2.3秒だと、処理待ちがほぼなくなりますね。研究している人から見ると、どこが新しいんですか。
画像とテキストを混ぜたVLMのサポートが追加され、Idefics3やGranite Doclingが使えるようになりました。Gemma 4 31Bの学習もGPUをまたいだ分割で動きます。AMDのRX 5000からRX 9000シリーズに対応し、Macではmlx 0.32.3に更新して視覚モデルのバッチ処理が強化されました。
最後に、Windows ARM64やLinux ARM64のダウンロードも準備されているんですか。
準備されています。WindowsとmacOS、Linuxのx64とARM64、Windows ARM64に対応しています。ただしKimi-K2.7-CodeのようなリモートDeepSeek-V3 MoEコードは、INT4のエキスパートを詰めたまま6台のB200で学習できます。
出典
この記事のもとになった情報
- GitHub:Command Palette + Desktop UI/UX
- 公開日:2026-10-01
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。