コード特化で容量を圧縮した Qwen3.8-Flash-Next、開発者のローカル環境に載せる話

モデル

コード特化で容量を圧縮した Qwen3.8-Flash-Next、開発者のローカル環境に載せる話

スポンサーリンク

Qwen3.8-Flash-Nextのコード特化圧縮版が公開。メモリ 29.6GB で単一 GPU に収まる

この記事のポイント

  • コード特化の圧縮モデル
  • 半数のエキスパートを削除
  • 32GBのGPUで動作

数字で見る

この記事に出てくる数字

削減後のサイズ 29.6 GB
BF16時のサイズ 354 GB

どこで使えるか

コード推論を32GB GPUで動かしたい人向け。マルチモーダル能力は維持される Hugging Faceで公開済み 32GBアクセラレーターで動作可能

スポンサーリンク

解説

かみくだいて説明します

ISTA-DASLabが2026年9月26日に、コード生成に特化した圧縮モデルを公開しました。元の176.9Bパラメータのモデルからルーティングされる専門ユニットの半分を削除し、残りの重みを3.5 bpwで保存しています。メモリに常驻する容量は29.6 GBで、32 GBのアクセラレータ1枚に収まる大きさです。
3.5 bpwで保存するというのは、もとのデータの何分の1の大きさになるんですか?
正確には、もとの重みのおよそ4分の1に相当します。1ビットが0と1の2通り、2ビットで4通りと増えるので、3.5 bpwでは1つの値を記録するスペースが元の半分以下に収まります。専門ユニットを半分にした効果と合わせて、全体では1.89 bits per parameterの有効レートになります。
記録するスペースを圧縮する仕組みは分かりますが、専門ユニットの半分を削る選び方がまだ掴めません。具体的にどう選んでいるんですか。
残すユニットはコードやマルチモーダル処理、空間推論を担うものだけを選んでいます。従来のモデルは512ある専門ユニットから10を選んで働かせていましたが、今回はその半分を最初から外し、残ったユニットだけで処理を回す設計です。
長い作業ほど影響が出るんですか。この圧縮は、現場で実際にモデルを動かす技術者にとって、どのような意味があるんですか。
従来は354 GB必要だったモデルが29.6 GBに収まるので、高スペックのGPUを複数繋げなくても単独で動かせます。専門ユニットの選択ロジックは残っているため、コードやマルチモーダル処理が必要な場面では、削られていないユニットが優先的に働きます。ただし、汎用性の低下は避けられないため、幅広い用途には圧縮前のバージョンを選ぶ必要があります。
汎用性は下がってしまうんですね。専門ユニットを削る作業は、もとのモデルを再学習する手間がかかるんですか。
再学習は行わず、既存の重みからルーティングされる専門ユニットを直接切り離し、残りの重みを3.5 bpwで保存し直すだけです。ただし、切り離し方にはコードやマルチモーダル、空間推論を担うユニットを残す設計がなされており、その選び方には実験的な要素が含まれています。
選び方に幅があるんですか。切り離したユニットの代わりに、別のデータを当てはめることはできるんですか。
そこはまだ分かっていません。今回のリリースは実験段階であり、Calibration mixtureに含まれていない能力については、まだ評価が完了していないためです。
評価が完了していない領域もあるんですか。最後に、この手法が今後どのように発展していく見通しですか。
実験段階のリリースであり、キャリブレーション mixture に含まれていない領域の能力については、まだ評価が完了していない部分があります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル