Swift-1.5-Qwen3.8-27bのGGUF版が公開。llama.cppでローカル推論できる。
この記事のポイント
- Qwen3.8を27bで量子化
- llama.cpp b11159で処理
- Q4_K_Mは17.44GB必要
数字で見る
この記事に出てくる数字
| WebUIポート | 8080 |
|---|
どこで使えるか
ローカル推論でコストを抑えたい人向け。GPUメモリが限られる環境でも動作する。 Hugging Faceで公開済み ライセンスはother
スポンサーリンク
解説
かみくだいて説明します
技術者のbartowskiが、2026年9月25日にHugging Faceで、Qwen3.8という27bのモデルを、ローカル環境で動かすためのファイル形式に圧縮したデータを公開しました。
27bというと、かなり大きなモデルですが、これを手元のパソコンで動かすには、どれくらいの容量が必要なんですか?
推奨されているのはQ4_K_Mという圧縮形式で、必要な容量はおよそ17.44GBです。
17.44GBなら、一般的なストレージに入りますね。
特別な設定は不要です。llama.cppは、AIのモデルをパソコンで動かすための基盤ソフトで、llama.appからコマンド一つでインストールできます。
コマンド一つで入るのは分かりやすいですが、基盤ソフトと言われてもイメージが掴めません。もう少し簡単に言うと、どういう働きをするものなんですか?
車のエンジンに搭載するためのマウント具のようなものです。モデルという重い部品を、パソコンという車体に固定して動かす役割を果たします。
なるほど、固定して動かすための部品ですね。
はい、llama-serverという機能を使えば、ブラウザでチャットの画面が開きます。初期設定ではlocalhostの8080番ポートで待受けます。
ブラウザだけで会話ができるのは便利です。ただ、llama.cppのバージョンはb11159以上が必要とありますが、古いバージョンだと動かないんですか?
正確には、このモデルの構造が新たにサポートされたため、b11159以上のバージョンがないと正しく読み込めません。
なるほど、新しいバージョンが条件になるんですね。
どれを選べばいいか迷ったら、容量と性能のバランスがだいたい良いとされるQ4_K_Mを選ぶのが無難だそうですよ。
容量と性能のバランスが取れているんですね。では、元のモデルと圧縮したファイル、どちらが精度は高いんですか?
どれを選ぶか迷うなら、Q4_K_Mを選べばいいそうです。容量と性能の兼ね合いが、たいてい良いとされています。
容量と性能のバランスが取れているんですね。最後に、このデータをダウンロードするには、Hugging Faceのアカウントが必要なんですか?
公開ページにはダウンロード方法の記載がありますが、アカウントの有無についてそこはまだ分かっていません。
出典
この記事のもとになった情報
- Hugging Face:bartowski/ukisai_Swift-1.5-Qwen3.8-27b-GGUF
- 公開日:2026-09-25
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。