Qwen3-8Bで並列ドラフトを深さ方向に条件付けるDSpine、推論速度を上げる話

モデル

Qwen3-8Bで並列ドラフトを深さ方向に条件付けるDSpine、推論速度を上げる話

スポンサーリンク

Qwen3-8BでDSpineが受け入れ長を伸ばした。

この記事のポイント

  • speculative decoding 用の並列ドラフター
  • 層深さで因果連鎖を形成する新構造
  • Qwen3-8B向け、学習コード公開

どこで使えるか

推論コストを削りたい人向け。学習コード公開で自前再訓練も可能。 Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

tencent が 2026年10月16日に Hugging Face に公開した DSpine は、AI が文章を生成する際の推測デコーディングという手法で使う並列ドラフターです。
推測デコーディングというのは、AI が次の言葉を予想して一気に下書きを書いてから、正しいか判定する仕組みでしたよね。
正確にはその通りです。従来の方式では下書きを順番に一つずつ作っていましたが、DSpine はすべての位置を同時に下書きしながら、前の位置の予測特徴を次の層に受け渡すことで因果連鎖をネットワークの深さ方向に広げていきます。
深さ方向に広げるというのが、まだ掴めません。もう少しやさしく言うとどうなりますか。
辞書で例えると、従来の方式はページをめくって一つずつ調べるような使い方ですが、DSpine はすべてのページを同時に広げながら、前のページの答えを下の行に書き写していくイメージです。
順番待ちの時間をなくして、情報を積み上げるわけですね。では、研究している人から見ると、これまでに何ができていなかったんですか。
並列で下書きを速く作れるようになると、判定側の負荷が偏って正確さが落ちる問題がありましたが、DSpine は層ごとの特徴受け渡しでそのズレを埋めています。Qwen3-8B での受容長は、同じ Open-PerfectBlend で同じ設定で再訓練した DSpark や DFlash2 と比較して、層ごとの受け渡し構造が有利に働いています。
受容長がどれくらい伸びたんですか。
具体的な受容長の数値は、この公開ページには記載がありません。そこはまだ分かっていません。代わりに、報告されている受容長とスループットは、論文内で明記されたサーバー設定で計測された値です。
開発者側の手元で動かすには、何が要るんですか。
訓練コードと、Qwen3.8-27B 向けの DSpine のチェックポイントが公開されています。公式の DFlash-b16 や Domino-b16 のチェックポイントも参照先として示されていますが、DSpine 単体の動作環境や必要な計算リソースの具体的な仕様については、そこはまだ分かっていません。
既存の DFlash や Domino と比べて、置き換えるだけで性能が出る仕組みなんですね。
はい。同じOpen-PerfectBlendで同じ設定で再訓練した上で比較しているため、構造の違いによる効果だけを切り分けて評価できます。次は、公開されている訓練コードを使って実際に再訓練した結果が、どこまで追試可能かを確認していく予定です。
同じ設定で再訓練して比較しているなら、構造の違いだけが見えるわけですね。
正確にはその通りです。設定を統一しているため、性能差がドラフター自体の設計によるものだと判断できます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル