occamy-1.0 の GGUF 版を llama.cpp で量産した話

モデル

occamy-1.0 の GGUF 版を llama.cpp で量産した話

スポンサーリンク

occamy-1.0の GGUF 版が llama.cpp 対応で公開。Q4_K_M は 22.32GB。

この記事のポイント

  • LLaMA形式のモデルをGGUFに量子化
  • llama.cpp release b10964で量子化
  • Q4_K_Mは22.32GBで動作

数字で見る

この記事に出てくる数字

Q4_K_Mサイズ 22.32GB
Web UIポート 8080

どこで使えるか

ローカルでLLMを動かしたい人向け。llama.cppとWebUIで即座に試せる Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

bartowski が Hugging Face で、Accio-Lab の Large Language Model、occamy-1.0 をローカルで動かすためのデータ形式、GGUF 版を公開しました。公開日は 2026-09-16 で、推奨されるファイルサイズは 22.32GB です。
22.32GB というと、手元のパソコンのメモリに余裕がないと厳しい大きさですね。このデータ形式、GGUF は専門の研究者でなくても、現場で AI を組み込んでいる技術者が扱いやすいようになっているんですか。
そうです。GGUF はモデルの計算に必要な重みを、必要な精度だけ切り詰めて保存する形式です。例えば、本を電子書籍にするとき、紙の厚さを削ってスマホの画面に収めるのに似ています。必要な部分だけ残すので、重いモデルでも普通のパソコンで動きます。
本を電子書籍に詰めるイメージですね。では、この occhy-1.0 を動かすのに、特別なソフトは要りますか。
要りません。公開ページには llama.cpp というツールで動くと書かれています。llama.app というインストール画面から一行のコマンドで入れられ、その中に chat web UI という対話画面が最初から入っています。ブラウザで localhost の 8080 番ポートを開けば、すぐに使い始められます。
一行でツールが入って、ブラウザで即座に対話画面が開くんですね。では、ファイルのダウンロードで気になる点なんですが、分割されているファイルは全部同じフォルダに置けばいいんですか。
そうです。公開ページの表で Split の列に true とマークされているファイルは、複数のパーツに分けて保存されています。ローカルの任意のフォルダを指定するか、カレントディレクトリにそのまま展開するか選べます。 llama.cpp の方は release b10964 以上でないと動かないので、古いバージョンを使っている人は更新が必要です。
release b10964 以上が必要で、古い環境だと動かない可能性があるんですね。では、推奨される Q4_K_M という圧縮レベルですが、これはどのくらいの精度を保った上でサイズを削っているんですか。
そこはまだ分かっていません。公開ページには Q4_K_M がサイズと性能のバランスが取りやすいと書かれていますが、数値での精度維持率や、他の圧縮レベルとの比較データは記載されていません。気になる方は、公式サイトで実際の動作を確認することになります。
数値での比較データは出ないんですね。では、このデータ形式でローカルに保存した場合、インターネットに繋がなくても AI は使えますか。
使えます。llama.cpp はオフラインで動作するツールです。ダウンロードしてローカルのフォルダに展開すれば、通信なしで chat web UI を通じて対話できます。ファイルの容量が 22.32GB ありますから、ネットワーク回線の速度よりもパソコンのストレージ容量とメモリが重要になります。
回線よりストレージとメモリの余裕が鍵になるんですね。最後に、この occhy-1.0 の GGUF 版は、今後モデル自体のアップデートに合わせて自動的に更新されますか。
モデルの更新については、llama.cpp release b10964での量子化データが公開されています。元モデルが更新された場合は、新しいデータがHugging Faceにアップロードされる可能性があります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル