Unsloth Desktopがコマンドパレットと Laya 判断の高速化、4bit 学習のメモリ削減を実現した。
この記事のポイント
- 4bitチェックポイントで訓練時メモリ不足
- Tritonカーネルで層ごと解凍して訓練
- NVFP4のLoRA学習でメモリ45%減
数字で見る
この記事に出てくる数字
| Laya短リクエスト | 4.1x |
|---|
どこで使えるか
4bit学習でメモリを削りたい人向け。Laya判断も高速化 GitHubのリリースページから入手可能 v0.1.901-beta。4.1xは短リクエスト限定
スポンサーリンク
解説
かみくだいて説明します
danielhanchen さんが GitHub 上の Unsloth Desktop で、新しいコマンドパレットとメモリ節約の仕組みを公開しました。Qwen3.8-27B-NVFP4 というモデルで、LoRA 学習中の最大メモリ使用量が 72.9 GB から 40.2 GB に減り、1 つの RTX PRO 6000 で学習できるようになります。
なるほど、メモリが半分近く減るんですか? 技術者が見ていると、この仕組みはすでに現場で使える話ですか?
すでに公開されている 4 ビット版のチェックポイントを読み込むだけで、16 ビット版を一度作らなくても良くなります。モデルの重みをそのまま詰めた状態で学習に回すので、読み込み時のメモリが抑えられる仕組みです。
確かに、余計なコピーを作らないだけで随分違いますが、重みをそのまま使うと精度が落ちたりしませんか?
従来のやり方では 4 ビットから別の形式に二度書き換える必要がありましたが、今回の INT4 は書き換えをしないので精度はそのまま保たれます。本を翻訳し直すのではなく、元のままコピー機にかけて使うようなものです。Qwen3-8B で測った場合、従来の方法だとパープレキシティが 1.6 上がっていましたが、今回の仕組みではその影響が出ません。
精度はそのまま保たれるんですね。では、学習の速度面ではどれくらい変わってくるんですか?
Qwen3.8-27B-NVFP4では、ステップ数が11%短縮されました。gpt-oss-120bも1枚のB200で学習可能です。
1 枚のチップで済むなら、リソースの準備もずっと楽になりますね。コマンドパレットの追加も、操作の効率化に直結しそうです。
Cmd キーか Ctrl キーと P を押せばコマンドパレットが開き、GGUF モデルの設定をリンクで共有できるようになります。エラーが出た際もログを表示するボタンが追加され、何が失敗したか分かりやすくなりました。
では、画像モデルの速度面ではどれくらい改善されているんですか?
10 GiB までのメモリに制限された B200 上で Z-Image を動かした場合、従来の 38.4 秒から 2.3 秒に短縮されています。Radeon 8060S では Qwen-Image-2.1 が最大 3.6 倍速くなりました。
制限のある環境でも 10 GiB のメモリで Z-Image が動いたなら、実機での検証がずっとやりやすくなります。
最後に、外部のサービスとつなげる Decision API については、TypeSafe などのホスト型プロバイダーに加え、Laya による判断処理が最大 4.1 倍速くなりました。3 問のガードレールチェックでは B200 上で 11.6 ミリ秒から 2.8 ミリ秒に短縮されています。
判断までの時間が 4 倍近く短くなるなら、実務での待ち時間はずいぶん減りそうです。
引き続き Unsloth Desktop は無料で公開を続けています。対応チップやモデル形式も充実しています。
出典
この記事のもとになった情報
- GitHub:Command Palette + Desktop UI/UX
- 公開日:2026-10-01
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。