Cloudflare_clefの GGUF 版が公開。Q4_K_M は 17.20GB で llama.cpp 対応。
この記事のポイント
- Cloudflareのテキスト生成モデルを軽量化した
- llama.cppで量子化しGGUF形式で公開した
- GPUメモリに載るサイズでローカル実行可能
数字で見る
この記事に出てくる数字
| モデルサイズ | 17.20GB |
|---|---|
| WebUIポート | 8080 |
どこで使えるか
ローカルで推論コストを抑えたい人向け。GPUメモリに載るサイズで動作する。 Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
技術者のbartowskiが、2026年10月2日にHugging Faceで、AIの言語モデルを小型化したファイル「Cloudflare_clef-GGUF」を公開しました。もとのモデルはCloudflareが作った「clef」で、llama.cppという実行環境の最新版b11279を使って、データ量を減らしています。おすすめはQ4_K_Mという形式で、容量は17.20GBです。llama-serverという機能を使えば、ウェブからチャットができる画面が自動的に立ち上がります。
容量が17.20GBとかなり小さいんですね。データ量を減らすって、具体的にどれくらい軽くなるんですか?
元のモデルの精度をできるだけ残しつつ、必要な部分だけを詰めて圧縮しています。例えば、辞書を引きながら文章を書く作業を、必要な単語帳だけを持って外出するイメージです。必要な情報だけを持って動くので、計算の負担が減ります。
なるほど、辞書だけを厳選して持っていく感じですね。動かすのに特別な機械が要りますか?
専用の機械は要りません。一般のパソコンやアップルのMacに、llama.appというソフトをインストールするだけで動きます。公開されているllama.cppのb11279以降のバージョンがあれば、そのまま使えます。
一般のパソコンで動くなら、手元でさっと試せそうです。ウェブ画面が自動で開くのは、どれくらいの人数まで対応しているんですか?
対応人数の上限については、ここには記載がありません。そこはまだ分かっていません。
では、ファイルのダウンロードについて教えてください。分割されているファイルは、どうやって揃えるんですか?
Hugging Faceのコマンドラインツールという機能を使って、コマンドを一つ実行するだけで、必要な部分をまとめてローカルのフォルダに保存できます。分割されたファイルは、同じフォルダに並べるだけで自動的に読み込まれます。
コマンド一つで揃うなら、技術者以外の人でも組み込みやすいですね。精度が落ちた部分は、どのくらいまでなら気にならないんですか?
精度の低下幅については、具体的な数値は公開されていません。そこはまだ分かっていません。
最後に、この形式のファイルは、今後ほかのモデルにも広がっていく見込みですか?
要旨にはこのモデルのアーキテクチャが新たにサポートされる場合、b11279以降が必要とだけ書いてあるよ
出典
この記事のもとになった情報
- Hugging Face:bartowski/Cloudflare_clef-GGUF
- 公開日:2026-10-02
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。