Lythri-4B-A2Bを1行でインストールして動かす方法

モデル

Lythri-4B-A2Bを1行でインストールして動かす方法

スポンサーリンク

Lythri-4B-A2Bの GGUF 版が公開。Q4_K_M で 3.17GB。

この記事のポイント

  • 4Bパラメータのモデルを軽量化
  • Q4_K_Mでサイズと性能のバランス
  • llama.cpp b11279以上で動作

数字で見る

この記事に出てくる数字

Q4_K_M容量 3.17GB
S/M/L比率 90/70/50%

どこで使えるか

ローカルで推論を組む人向け。llama.cpp互換ツールが使える Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

2026-10-02、bartowski が Lythri_Lythri-4B-A2B-GGUF を Hugging Face に公開しました。推奨版は 3.17GB の Q4_K_M で、llama.cpp release b11279 で量子化されています。
3.17GB で動くんですか。現場で組み込む技術者から見ると、手元で動かすのに llama.cpp 以外に何が必要なんですか。
llama.cpp をインストールすれば動きます。llama.app を一行コマンドで入れられるので、環境を整えるのは比較的簡単です。llama-server を使えばブラウザでチャット画面がポート番号 8080 で開きます。
ブラウザだけで会話ができるんですね。ファイル名の S や M、L は、精度の残し分けだという話なんですね。
はい。S はおよそ 90 %、M はおよそ 70 %、L はおよそ 50 % が元の精度のまま残ります。例えば写真の画質を落とすとき、S は軽く圧縮してサイズを削り、L は大きく圧縮して容量を節約するイメージです。
容量を削る代わりに、重要な部分だけ精度を残すんですね。そのへんの仕組みをもう少し噛み砕いていただけますか。
正確には、モデルの中で計算に敏感な重みにだけ、余分な精度を回しているんです。通常の Q4_K と同じ圧縮ルールを全部使うのではなく、このモデル用に配置を工夫しています。
専用のツールじゃなくても、いろんなソフトで使えるんですか。
LM Studio、koboldcpp、ramalama、Jan AI、Text Generation Web UI、LoLLMs、Atomic Chat といったソフトでも使えます。
環境を選ばずに済みますね。Q6_K の L サイズが Q8_0 に近いという話ですが、実際のところどこまで精度が保たれるんですか。
明確な数値目標はありません。重みあたりのビット数だけ報告されているので、そこを基準に選んでいただく形です。
数字だけで選ぶのは少し手間がかかりますね。最後に、今後ほかのモデルでもこの配置の工夫は広がっていくんですか。
はい、モデルのアーキテクチャが新しいサポート対象なら、llama.cppのリリースb11279以降が必要です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル