Qwen3.8-35B-A3B-Distill の GGUF 版、ローカル推論で使う話

モデル

Qwen3.8-35B-A3B-Distill の GGUF 版、ローカル推論で使う話

スポンサーリンク

Qwen3.8-35B-A3B-Distillの GGUF 版が公開。35B 総パラメータ、約 3B 活性化でローカル推論向け。

この記事のポイント

  • Qwen3.8を35B-A3Bに蒸留したモデル
  • 30層のDeltaNetと10層の注意機構を混合
  • 35Bパラメータで約3Bが活性化、GGUF形式

数字で見る

この記事に出てくる数字

総パラメータ 35B
アクティブパラメータ ~3B

どこで使えるか

35Bモデルをローカルで動かしたい人向け。約3B活性化で推論コストを抑えられる Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

empero-ai が 2026-09-17 に、Qwen3.8-35B-A3B-Distill の GGUF 版を公開しました。パラメータは合計 35B で、1 回の処理で動くのはおよそ 3B です。256 個の専門ユニットから 8 個だけを毎回選ぶ仕組みで、全体を動かすよりはずっと速く動きます。llama.cpp や Ollama、LM Studio、Jan、KoboldCpp といった一般的な推論ソフトでそのまま使えます。
全部を動かすより一部分だけを選ぶんですね。作る側からすると、いま使っているモデルと入れ替えるのは難しいんですか?
入れ替え自体は簡単です。ただし、古い llama.cpp では読み込めません。新しいビルドが必要で、Qwen3.6 や Gated DeltaNet という層の仕組みに対応しているか確認してください。対応していないとエラーで止まります。
古いソフトだと使えないのは痛いですが、メモリはどれくらい必要ですか。
重みのファイル全体は RAM か VRAM に入らないと動きません。ただ、1 回あたりの計算量が 3B 分だけなので、CPU だけで動かす場合でも、同じサイズの密なモデルよりはずっと現実的です。長い文章を扱うときは KV cache が重くなるので、その際は外付けメモリに逃がす必要があります。
2 ビットや 3 ビットといった低いビット数でも、ちゃんと意味が通じるんですか。
通じます。IQ* 版や 2 ビット、3 ビットの K-quants は、重要度の行列で補正をかけています。
重要度の行列、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
辞書を引くときに、よく使う言葉のページを厚くして、あまり使わない言葉のページを薄くするのと似ています。薄いページでも意味が崩れないように調整しているのです。
辞書のページを厚くする感じですね。研究している人から見ると、どこが新しいんですか。
30 層の Gated DeltaNet と 10 層のフルアテンションを混ぜたハイブリッド構造が新しい点です。従来のアテンションだけを使ったモデルより、長い文脈を扱うときの計算コストを下げられます。ただ、DeltaNet の層がどれくらいの精度で追従するかは、まだ公開されているベンチマークだけでは読み切れていません。
長い文脈のコストが下がるのは確かに大きいですね。使う側からすると、現場のシステムに組み込む場合、気をつける点はありますか。
気をつけるのは出力の仕組みです。このモデルは推論モデルで、答えの前に <think> という思考のブロックを必ず出力します。使うときは出力の文字数に余裕を持たせて、そのブロックだけを後で削る処理を入れてください。それさえ外せば、そのまま API につなげられます。
思考のブロックを削る処理を入れるんですね。
次は Qwen3.6 以降のモデルで、30 層の Gated DeltaNet と 10 層のフルアテンションを組み合わせたハイブリッド構造が採用されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル