LiquidAI_LFM2.5-24B-A2Bの量子化版が公開。Q4_K_M で 15.35GB、llama.cpp で動作。
この記事のポイント
- LiquidAIの24BモデルをGGUF形式で提供
- Sで90%、Mで70%、Lで50%が基本精度を維持
- Q4_K_Mは15.35GB、llama.cpp b11606以上で動作
数字で見る
この記事に出てくる数字
| Q4_K_Mサイズ | 15.35GB |
|---|---|
| Sの保持率 | 90% |
どこで使えるか
ローカルで推論コストを抑えたい人向け。llama.cpp系ツールが要る Hugging Faceで公開済み ライセンスはother
スポンサーリンク
解説
かみくだいて説明します
bartowskiが10月14日に、LiquidAIのLFM2.5-24B-A2Bを量化したファイルを追加しました。おすすめはQ4_K_Mで、容量が15.35GBです。SからLまでのサイズが用意されています。
15.35GBですね。ローカルで動かすのに、特別なハードは要るんですか?
専用のハードは要りません。llama.cppというツールで動きますから、LM StudioやJan AIといったソフトでもそのまま読み込めます。
いろんなソフトで使えるんですね。SからLまでのサイズが用意されているのは、容量の好みで選べるからですね。
基本の精度をどれくらい残すかです。Sはおよそ90%、Mが70%、Lが50%です。Lは単に容量が大きいという意味で、前の版では埋め込みと出力の重みだけ特別に高精度にしていましたが、今回のファイルではその型の中の最大サイズを指します。
基本の精度を残す割合が違えば、重みの配分も変わりますね。前の版と今の版でLの意味が変わったのも興味深いです。
目標値は決めていません。各ファイルの重みあたりのビット数をそのまま報告しています。Q4_K_Mは基本的にQ4_Kと同じで、モデルが敏感に反応する重みにだけ精度を足しています。
敏感に反応する重みに精度を足す、というのはどういう仕組みなんですか?
全部の重みを均等に細かくするのではなく、重要な部分だけ丁寧に処理するということです。例えば地図を縮小するとき、主要な道路は残して裏道の線だけを簡略化するイメージです。
主要な部分だけ丁寧に処理するんですね。この量化版は、開発者がモデルを改良する時にもそのまま使えますか?
開発者が使うのはllama.cppのb11606リリースで、モデルのアーキテクチャが新しくサポートされた場合、これ以降の版でないと動かない可能性があります。
では、b11606というバージョンが必要なんですね。古い版では起動しないなら、確かに確認が必須です。
構造が新しくサポートされた場合、b11606かそれ以上のバージョンが必要です。対応していない古い版では起動しません。
最後に、ビット数だけで判断すればいいんですね。使う側の用途に合わせて選ぶことになりますか。
ビット数を目安にすればいいですが、実際には重要な部分への精度の配分次第で体感が変わります。用途に応じて残す精度の量を変えることになります。
出典
この記事のもとになった情報
- Hugging Face:bartowski/LiquidAI_LFM2.5-24B-A2B-GGUF
- 公開日:2026-10-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。