Qwen3の推論コストを下げるスパースアテンションゲートSAS、デコード速度を上げる話

モデル

Qwen3の推論コストを下げるスパースアテンションゲートSAS、デコード速度を上げる話

スポンサーリンク

SASが Qwen3 の推論コストを 2,048 トークンの予算で下げる。

この記事のポイント

  • Qwen3のKVブロックを動的に選択
  • 学習時はゲートのみ最適化し凍結
  • Qwen3ベースモデルと専用バックエンド

数字で見る

この記事に出てくる数字

APIポート 30000

どこで使えるか

推論コストを下げたい人向け。Qwen3と専用バックエンドが必要。 Hugging Faceで公開済み

スポンサーリンク

解説

かみくだいて説明します

tencentが2026-09-14に、Simple-Attention-Sparsification、SASを公開しました。クエリごとにKVブロックの優先順位を学び、選ばれたブロックに連続的なゲートを加えて、言語モデルの損失関数だけで文脈の並び順を最適化します。
連続的なゲートって、具体的に何をコントロールするんですか。
必要な情報に少し重みをかけて入れるイメージです。図書館で目的の本を探すとき、関連する棚の並び順をモデル自身が微調整しやすくなります。従来のdense attention、つまり全ての情報を均等に処理するスコアを参考に選定しましたが、SASはそれを直接学習させるのではなく、ゲートを通じて損失関数から逆伝播させています。
予算の幅を再学習なしで1,024から4,096まで変えられるということですね。
その通りです。デフォルトは2,048トークンのスパースデコード予算ですが、同じチェックポイントで1,024、2,048、4,096の3種類を再学習なしで評価できます。ゲートルーターだけ最適化しており、ベースモデルのパラメータは凍結されたままです。
では、実際に現場で動かすのに、何が要りますか。
Qwen3のバックボーンは凍結されており含まれていないため、対応するQwen3のベースモデルと、当方のsglang-blocksparseフォークにあるseer_attnバックエンドが必要です。標準的なtransformersのAutoModelForCausalLM.from_pretrained()という読み込み関数では、直接動かせません。
オフラインでも設定ファイルを書き換えるだけで済むのは、環境構築の手間が省けるということですね。
可能です。config.jsonが公開リポジトリを指しているので、ベースモデルを先にダウンロードすれば、base_modelの値をローカルパスに書き換えるだけで使えます。サーバーはローカルホストの30000番ポート、パスはv1で、OpenAI互換のAPIを公開しています。
最後に、従来の蒸馏手法と比べて、どこが新しいんですか。
従来の手法は全ての情報を均等に処理するスコアを参考に選定しますが、SASはゲートを通じて言語モデルの損失関数だけで並び順を最適化します。これにより、選定とモデルの推論が分離されず、より精度の高い文脈処理が期待できます。
分かりました。
公開されているのはルーター専用のチェックポイントであり、スタンドアロンの言語モデルではない点にはご注意ください。今後、他のバックボーンへの対応や、より大きなトークン数でのベンチマーク結果がどうなるかは、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル