Qwen3.8-Flash-Nextのコード特化圧縮版が公開。メモリ 29.6GB で単一 GPU に収まる
この記事のポイント
- コード特化の圧縮モデル
- 半数のエキスパートを削除
- 32GBのGPUで動作
数字で見る
この記事に出てくる数字
| 削減後のサイズ | 29.6 GB |
|---|---|
| BF16時のサイズ | 354 GB |
どこで使えるか
コード推論を32GB GPUで動かしたい人向け。マルチモーダル能力は維持される Hugging Faceで公開済み 32GBアクセラレーターで動作可能
スポンサーリンク
解説
かみくだいて説明します
ISTA-DASLabが2026年9月26日に、コード生成に特化した圧縮モデルを公開しました。元の176.9Bパラメータのモデルからルーティングされる専門ユニットの半分を削除し、残りの重みを3.5 bpwで保存しています。メモリに常驻する容量は29.6 GBで、32 GBのアクセラレータ1枚に収まる大きさです。
3.5 bpwで保存するというのは、もとのデータの何分の1の大きさになるんですか?
正確には、もとの重みのおよそ4分の1に相当します。1ビットが0と1の2通り、2ビットで4通りと増えるので、3.5 bpwでは1つの値を記録するスペースが元の半分以下に収まります。専門ユニットを半分にした効果と合わせて、全体では1.89 bits per parameterの有効レートになります。
記録するスペースを圧縮する仕組みは分かりますが、専門ユニットの半分を削る選び方がまだ掴めません。具体的にどう選んでいるんですか。
残すユニットはコードやマルチモーダル処理、空間推論を担うものだけを選んでいます。従来のモデルは512ある専門ユニットから10を選んで働かせていましたが、今回はその半分を最初から外し、残ったユニットだけで処理を回す設計です。
長い作業ほど影響が出るんですか。この圧縮は、現場で実際にモデルを動かす技術者にとって、どのような意味があるんですか。
従来は354 GB必要だったモデルが29.6 GBに収まるので、高スペックのGPUを複数繋げなくても単独で動かせます。専門ユニットの選択ロジックは残っているため、コードやマルチモーダル処理が必要な場面では、削られていないユニットが優先的に働きます。ただし、汎用性の低下は避けられないため、幅広い用途には圧縮前のバージョンを選ぶ必要があります。
汎用性は下がってしまうんですね。専門ユニットを削る作業は、もとのモデルを再学習する手間がかかるんですか。
再学習は行わず、既存の重みからルーティングされる専門ユニットを直接切り離し、残りの重みを3.5 bpwで保存し直すだけです。ただし、切り離し方にはコードやマルチモーダル、空間推論を担うユニットを残す設計がなされており、その選び方には実験的な要素が含まれています。
選び方に幅があるんですか。切り離したユニットの代わりに、別のデータを当てはめることはできるんですか。
そこはまだ分かっていません。今回のリリースは実験段階であり、Calibration mixtureに含まれていない能力については、まだ評価が完了していないためです。
評価が完了していない領域もあるんですか。最後に、この手法が今後どのように発展していく見通しですか。
実験段階のリリースであり、キャリブレーション mixture に含まれていない領域の能力については、まだ評価が完了していない部分があります。
出典
この記事のもとになった情報
- Hugging Face:ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF
- 公開日:2026-09-26
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。