Underdog-Salukiが、8GB 以下のモデルで並列ツール呼び出しがフルサイズを上回る性能を出した。
この記事のポイント
- ツール呼び出しを維持した小型モデル
- フルサイズより並列処理が向上した
- 8GB以下のメモリで動作する
数字で見る
この記事に出てくる数字
| ベンチマークタスク数 | 120 |
|---|---|
| 並列ツール呼び出し | 42 |
どこで使えるか
小型モデルで並列ツール呼び出しを組む人向け。8GB以下のメモリで動作し学習不要 Hugging Faceで公開済み GGUF版は8GB以下。APIはport 8080
スポンサーリンク
解説
かみくだいて説明します
ConwayResearch が 10月8日、Qwen3.8-27B をベースにした Underdog-Saluki-27B-1.0 を Hugging Face で公開しました。メモリに 8 GB 以下で動く GGUF 形式で、標準の llama.cpp でそのまま動き、OpenAI のチャット API 形式で 8080 番ポートでサーバーを動かせるのが特徴です。
8 GB 以下で動くんですか? 組み込みの技術者から見ると、今使っている環境を大きく入れ替えずに済みますね。
そうです。27B のモデルをデータ量を減らす処理で 8 GB に収めています。ベンチマークの Underdog Bench では、120 件のタスクを使って測りました。並列ツール呼び出しの 100 件では、Saluki が 42、元の Qwen3.8-27B が 35 でした。
42対35は並列ツール呼び出しの100件で測った結果です。120件で測った結果だと、実行ごとの揺らぎが混じりやすいという話ですね。
確かに公開されているスコアとは別の実行環境で測っています。数件差が実行ごとの揺らぎの可能性もあると報告されています。ライセンスは Apache 2.0 です。
では、画像を扱える機能はどうなっているんですか? 追加ファイルが必要というのは少し手間がかかりますね。
vision 用の追加ファイルを取ってきて、起動オプションに --mmproj を付けると使えます。画像を OpenAI のチャット API 経由で送るだけで、通常のチャットのように処理されます。--jinja を付けると、ツール呼び出しと思考プロセスを扱う Qwen3.8 のチャットテンプレートが有効になります。
--mmproj と --jinja は、何を切り替えるオプションなんですか? 起動コマンドが少し複雑に見えますね。
--mmproj は画像認識の重みをロードするスイッチです。--jinja は、モデルが命令を正しく読み取るための型番のようなものです。コマンドラインでサーバーを立ち上げる際、この 2 つを指定すれば画像とツールの両方に対応した状態で動きます。
なるほど。開発者が手元でローカルに置く場合、動かすのに何が要るんですか?
llama.cpp と追加ファイル、それから画像を使う場合は vision モデルのデータが要ります。全部 Apache 2.0 のライセンスで、Qwen チームと ISTA-DASLab が公開したベースモデルを元にして作られています。
最後に、思考モードを有効にした場合のスコアはどうなっているんですか?
思考モードを有効にした場合のスコアについては、今回の公開では触れていません。公開された数値はすべて思考をオフにして測定したものです。
出典
この記事のもとになった情報
- Hugging Face:ConwayResearch/Underdog-Saluki-27B-1.0
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。