Qwen3.8-27Bを8GB以下に圧縮したUnderdog-Saluki、ローカル推論でツール呼び出しを維持

モデル

Qwen3.8-27Bを8GB以下に圧縮したUnderdog-Saluki、ローカル推論でツール呼び出しを維持

スポンサーリンク

Underdog-Salukiが、8GB 以下のモデルで並列ツール呼び出しがフルサイズを上回る性能を出した。

この記事のポイント

  • ツール呼び出しを維持した小型モデル
  • フルサイズより並列処理が向上した
  • 8GB以下のメモリで動作する

数字で見る

この記事に出てくる数字

ベンチマークタスク数 120
並列ツール呼び出し 42

どこで使えるか

小型モデルで並列ツール呼び出しを組む人向け。8GB以下のメモリで動作し学習不要 Hugging Faceで公開済み GGUF版は8GB以下。APIはport 8080

スポンサーリンク

解説

かみくだいて説明します

ConwayResearch が 10月8日、Qwen3.8-27B をベースにした Underdog-Saluki-27B-1.0 を Hugging Face で公開しました。メモリに 8 GB 以下で動く GGUF 形式で、標準の llama.cpp でそのまま動き、OpenAI のチャット API 形式で 8080 番ポートでサーバーを動かせるのが特徴です。
8 GB 以下で動くんですか? 組み込みの技術者から見ると、今使っている環境を大きく入れ替えずに済みますね。
そうです。27B のモデルをデータ量を減らす処理で 8 GB に収めています。ベンチマークの Underdog Bench では、120 件のタスクを使って測りました。並列ツール呼び出しの 100 件では、Saluki が 42、元の Qwen3.8-27B が 35 でした。
42対35は並列ツール呼び出しの100件で測った結果です。120件で測った結果だと、実行ごとの揺らぎが混じりやすいという話ですね。
確かに公開されているスコアとは別の実行環境で測っています。数件差が実行ごとの揺らぎの可能性もあると報告されています。ライセンスは Apache 2.0 です。
では、画像を扱える機能はどうなっているんですか? 追加ファイルが必要というのは少し手間がかかりますね。
vision 用の追加ファイルを取ってきて、起動オプションに --mmproj を付けると使えます。画像を OpenAI のチャット API 経由で送るだけで、通常のチャットのように処理されます。--jinja を付けると、ツール呼び出しと思考プロセスを扱う Qwen3.8 のチャットテンプレートが有効になります。
--mmproj と --jinja は、何を切り替えるオプションなんですか? 起動コマンドが少し複雑に見えますね。
--mmproj は画像認識の重みをロードするスイッチです。--jinja は、モデルが命令を正しく読み取るための型番のようなものです。コマンドラインでサーバーを立ち上げる際、この 2 つを指定すれば画像とツールの両方に対応した状態で動きます。
なるほど。開発者が手元でローカルに置く場合、動かすのに何が要るんですか?
llama.cpp と追加ファイル、それから画像を使う場合は vision モデルのデータが要ります。全部 Apache 2.0 のライセンスで、Qwen チームと ISTA-DASLab が公開したベースモデルを元にして作られています。
最後に、思考モードを有効にした場合のスコアはどうなっているんですか?
思考モードを有効にした場合のスコアについては、今回の公開では触れていません。公開された数値はすべて思考をオフにして測定したものです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル