K2-Horizon-375B-A23B の量化版を llama.cpp で動かす話

モデル

K2-Horizon-375B-A23B の量化版を llama.cpp で動かす話

スポンサーリンク

K2-Horizon-375B-A23Bの llama.cpp 用量化版が手に入る。Q4_K_M は 237.80GB。

この記事のポイント

  • 375BパラメータのLLM
  • Q4_K_Mで237.80GBに圧縮
  • llama.cpp b11462で動作

数字で見る

この記事に出てくる数字

モデルパラメータ 375B-A23B
Q4_K_Mサイズ 237.80GB

どこで使えるか

Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

bartowskiが 2026-10-08 に、大規模言語モデル IFM/K2-Horizon-375B-A23B を llama.cpp release b11462 で量子化して公開しました。推奨される Q4_K_M は 237.80GB です。
237.80GB というとかなり大きいですね。開発者が組み込む際に、どのくらいの準備が要るんですか。
llama.app で llama.cpp を一行でインストールできます。 llama-server を起動すると、ブラウザでチャットができる画面が localhost の 8080 番ポートに出てきます。
ブラウザだけで会話ができるんですね。量子化というのは、元のモデルを圧縮する処理ですよね。
そうです。精度を少し下げてファイルの容量を減らす作業です。写真の画質を落としてストレージを節約するのと似た考えです。
精度が落ちるのはどれくらいですか。
材料には具体的な数値の記載がありません。そこはまだ分かっていません。
開発者は Q4_K_M を一番のおすすめにしているんですか。
容量と性能のバランスが良いとして、Q4_K_M をまず選んでくださいと案内しています。
動かすのに llama.cpp release b11462 以上が必要というのは、現場で既に使っているツールを全部入れ替えないといけないんですか。
そうです。このモデルの構造に対応しているのは release b11462 以降だけです。古い版では起動しません。
複数のファイルに分割されているのは、ダウンロードが重ならないようにするためですか。
大きなファイルを安定して届けるためです。 Hugging Face のコマンドラインツールで各パートをまとめてローカルに保存できます。
研究している人から見ると、どこが新しいんですか。
構造に対応した llama.cpp で直接動かせる点が利点です。既存の環境に組み込みやすい形になっています。
最後に、自分で試す場合に気をつける点はありますか。
llama.cppのb11462リリースを使用し、モデルのアーキテクチャが新しい場合に必要となるリリース以上であることを確認してください。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル