Qwen3.8-27B の推論トークンを減らす ThinkingCap、推論の効率を下げる話

モデル

Qwen3.8-27B の推論トークンを減らす ThinkingCap、推論の効率を下げる話

スポンサーリンク

ThinkingCap-Qwen3.8-27Bが推論トークンを平均37%削減。精度はベースモデルの86.6%に対し85.8%を維持。

この記事のポイント

  • Qwen3.8-27Bの推論冗長性を削減するモデル
  • 推論トークンを平均37%削減し、精度85.8%を維持
  • H200で動作、最大253,952トークン対応、アクセス条件あり

数字で見る

この記事に出てくる数字

推論トークン削減 37%
推論トークン削減幅 11%~66%
平均精度 85.8%

どこで使えるか

推論コストを抑えつつ精度を維持したい人向け。長文脈対応で推論冗長性を削減 Hugging Faceで公開済み アクセス条件の承認が必要、ライセンスはother

スポンサーリンク

解説

かみくだいて説明します

bottlecapaiが 2026年 9月 24日に、Qwen3.8-27Bを改良した ThinkingCap-Qwen3.8-27Bを公開しました。推論に必要なトークンを平均 37%削減しながら、正確さは 85.8%を維持しています。
推論の量を減らしたのに、正確さがほとんど落ちないというのは意外ですね。
そうです。ベースモデルが 86.6%だったところを、 85.8%で保っています。特に長い文章の中から必要な情報を引き出すタスクでは、推論を 39%減らしながら正確さが 2.3ポイント上がっています。
長い文章を扱う場面は実務でも多いですが、推論が長引いて止まってしまうトラブルは減ったんですか?
推論が途中で切れて答えが出なくなる打ち切りは 0.51%から 0.34%に減り、同じ思考を繰り返すループも 0.06%から 0.05%に下がっています。どちらも 1%を切っています。
1%を切るというのはかなり安定していますね。動かすときの環境や設定も明記されていますが、現場で組み込む技術者から見ると、特別な準備は要るんですか?
NVIDIA H200のGPUで、vLLM 0.29.0という推論フレームワークを使います。MTPという speculative decoding の仕組みで、 3つのトークンを事前に推測してから処理を進める方式です。
speculative decoding はまだ掴めません。もう少しやさしく言うとどうなりますか?
通常の推論は 1文字ずつ答えを出しますが、speculative decoding はまず数文字を素早く予想してから、本格的に検証するやり方です。予想が当たれば処理が速くなり、外れても正しい答えに書き直します。
なるほど、素早い下書きと丁寧なチェックを組み合わせる感じですね。温度や確率の指定も明記されていますが、そこは変えずに使えばいいんですか?
温度 1.0、top_p 0.95、top_k 20、min_p 0.0をそのまま使います。生成の上限は 253,952トークンで、長い文書や多ターン会話を使うベンチマークでは 131,072や 65,536に調整されています。
では、一般のユーザーが自由にダウンロードできるんですか?
リポジトリは公開されていますが、利用条件に同意する必要があります。企業向けにより踏み込んだ版も用意されており、そちらは別途ご案内します。
最後に、この改良版はどのような位置づけで使っていく予定ですか?
推論コストを抑えつつ実務の精度を維持する形で展開していきます。ただし、各ベンチマークごとの詳細な性能差や、他モデルとの組み合わせについては、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル