Swift-Qwen3.8-27Bが推論トークンを 58.3% 削減し、速度を 1.95 倍に向上させた。
この記事のポイント
- Qwen3.8の推論効率化モデル
- 思考トークンを58.3%削減
- 27BパラメータのBF16モデル
数字で見る
この記事に出てくる数字
| 思考トークン削減 | 58.3% |
|---|---|
| 性能低下 | <1% |
| 推論速度向上 | x1.95 |
どこで使えるか
推論コストを抑えつつ精度を維持したい人向け。思考トークンを削減し速度向上を実現 Hugging Faceで公開済み ライセンスはother
スポンサーリンク
解説
かみくだいて説明します
UkisAI が Qwen3.8-27B を元にしたモデル、Swift-Qwen3.8-27B を公開しました。思考に使うトークンを 58.3% 減らしながら、性能の低下は 1% 未満に抑え、処理速度を 1.95 倍に引き上げました。
考えすぎを削るだけで処理が 2 倍近く速くなるんですね。では、その削減率はどの設定でも変わらないんですか。
そうです。Qwen3.8 の中で「考えすぎ」を引き起こす特定のトークンを解析で見つけ出し、そのトークンを使うたびにペナルティを課す形で学習をやり直したのが手法です。BottleCap AI の ThinkingCap-Qwen3.6-27B から得られた要素も組み合わせています。
なるほど。考えすぎを引き起こすトークンというのは、モデルが推論を始めた後に続く冗長なチェックの連鎖なんですね。
正確には、推論プロセスの中で続く、冗長な自己確認の連鎖です。例えば数学の問題を解く際、答えにたどり着いた後も「これで合っているか」「別の解き方はないか」と延々とチェックを繰り返す状態がそれに当たります。Swift-Qwen3.8-27B はその余計なチェックを削ることで、同じ精度をより短い手順で出せるようにしています。
xhigh から low まで、どの設定にしても削減効果が保たれているということですね。では、実際のベンチマークでどれくらいの差が出ているんですか。
はい。GPQA-Diamond という 198 問の問題セットで、5 種類のシードと 990 回のペア呼び出しで測った結果、xhigh 設定の Swift-Qwen3.8-27B は、同じ xhigh の元モデルと同等の正答率を維持しつつ、使うトークン数をおよそ半分まで減らしています。
では、実務でこのモデルを組み込む場合、推論速度の向上以外に何が準備として必要になるんですか。
現状では vLLM 0.27.1 という推論フレームワーク上で動作確認が取れています。コンテキスト長は 262,144 をサポートしており、既存の Qwen3.8-27B の環境にアダプターを適用する形で導入可能です。API 経由での公開状況や、他のフレームワークへの対応についてはそこはまだ分かっていません。
アダプターを適用するだけで済むのであれば、既存の環境を大きく書き換えずに済みますね。
その通りです。ベースモデルの重みを上書きするのではなく、追加のモジュールとして結合する方式になっています。
最後に、計算資源が限られる環境で使う場合、研究者側でどこに注目すべきか教えてください。
Swiftは58.3%の思考トークン削減を実現し、性能低下は1%未満で速度が1.95倍向上します。計算資源が限られる環境でも、ほぼ同等の精度を維持しつつ効率的に推論できるため、研究者にとって有用な選択肢となり得ます。
出典
この記事のもとになった情報
- Hugging Face:ukisai/Swift-Qwen3.8-27b
- 公開日:2026-09-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。