ローカルで動かす AI の範囲を広げる Unsloth、新モデルと新機能の話

ツール・基盤

ローカルで動かす AI の範囲を広げる Unsloth、新モデルと新機能の話

スポンサーリンク

Unslothが Nemotron 3.5 と Muse Spark Open をローカルで動かせるように。

この記事のポイント

  • Nemotron 3.5のローカル実行が可能
  • UnslothでBoltとSuper VLを1ビット圧縮
  • Boltは32GB、Super VLは1bitで64GB

どこで使えるか

ローカル推論や学習を自前で組む人向け。24GB〜256GBのGPUで動作し、解像度制限あり GitHub v0.1.908-betaで入手 SuperVLは1bitで64GB、4bitで128GB必要

スポンサーリンク

解説

かみくだいて説明します

GitHubにshimmyshimmerが2026年10月16日に公開したUnslothのアップデートで、NVIDIAのNemotron 3.5とMetaのMuse Spark Openをローカル環境で動かせるようになりました。
ローカルで動かせるんですね。必要なメモリ容量はどのくらいですか。
Nemotron 3.5のSuper VLは120Bでアクティブパラメータが12B、Muse Spark Openは816Bでおよそ42.7Bのアクティブパラメータです。Super VLは1ビットでおよそ64GB、Muse Spark Openは2ビットでおよそ256GBのメモリが要ります。
816Bのうち動くのが42.7Bだけなんですね。MoEという仕組みで、必要な部分だけを取り出して処理しているんですか。
はい、MoEはモデルの重みを複数の小さなチームに分けて、必要なチームだけ呼んで作業させるイメージです。全部を同時に動かすのではなく、必要な部分だけを選んで計算するので、メモリを節約しながら大きなモデルの性能を引き出せます。
では、開発者がローカルで使う場合、速度はどのくらい改善するんですか。
Nemotron 3.5のBoltは、100Kトークンの入力に対しInkling Smallのおよそ5倍の速度を出します。また、コーディングエージェントの続きの応答では、以前の会話を再処理する量が大幅に減り、最初の応答が最大4倍早く始まります。
最初の応答が4倍早くなるのは、プロンプトのキャッシュ機能が改善したからですよね。そこがまだ掴めません。具体的にどこが速くなるんですか。
以前の会話履歴から不要な部分をスキップして、必要な部分だけを読み込むように最適化されています。これにより、長い対話でも毎回最初から処理をやり直す必要がなくなります。
訓練の面では、DeepSpeedを使った4ビットQLoRAやDPOに対応するんですか。
DeepSpeedのZeRO-2とZeRO-3、4ビットQLoRA、フルファインチューニング、DPO、CPUオフロードに対応しています。LoRAの訓練でDDPと勾配チェックポイントを使った場合も、以前のようなクラッシュは起きなくなりました。
AMDのGPUでも動かせるんですか。
はい、ROCmが対応していないRDNA 1やPolarisでもVulkan対応のllama.cppビルドが利用できます。Windowsの古いCUDA 12未満のドライバーでも、同様にVulkanかCPUのビルドに自動的に切り替わるため、失敗せずに動作します。
最後に、今後の対応予定や、まだ公開されていない機能はあるんですか。
現時点で公開されている機能は、Nemotron 3.5 や Muse Spark Open の実行、テキスト拡散 LLM の訓練、DeepSpeed による学習などです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤