LFM2.5-24B-A2BのFP8版が公開。GPU推論向けにメモリ使用量を抑える。
この記事のポイント
- GPU推論用のFP8版モデル
- 重みをFP8量子化しEmbedding等は原精度維持
- 24BパラメータでLFM 1.0ライセンス公開
数字で見る
この記事に出てくる数字
| 量子化精度 | FP8 |
|---|---|
| ブロックサイズ | 128×128 |
| モデルサイズ | 24B |
どこで使えるか
GPU推論でメモリを削りたい人向け。Embedding等が原精度で精度低下を抑える Hugging Faceで公開済み GPU推論専用。MoEルーティングは原精度保持
スポンサーリンク
解説
かみくだいて説明します
LiquidAI が Hugging Face 上で、LFM2.5-24B-A2B の GPU 推論用 FP8 版を公開しました。線形層の重みを 128×128 ブロックで FP8 に量子化し、活性化関数の値も動的に量子化します。埋め込み層や MoE のルーティングゲート、畳み込みの重みは元の精度のまま残す設計です。
GPU で動かす時にメモリを節約する形なんですね。量子化という言葉をもう少しやさしく言うと、どうなりますか。
データを一桁少なくまとめて扱う技術です。写真の解像度を下げて保存するのと似ていて、元に戻す時に少し情報が欠ける代わりに、処理速度が上がりメモリも減ります。
128×128 ブロックで分けるのは、なぜその大きさなんでしょうか。
公開された情報では 128×128 ブロックで区切る方式と明記されていますが、なぜその大きさなのかの理由については、そこはまだ分かっていません。
では、埋め込み層や MoE のルーティングゲートは元の精度を残す理由は何ですか。
公開された情報ではそれらの部分を元の精度のまま残すとだけ記載されています。理由については、そこはまだ分かっていません。
結局メモリは減らないのでは。
公開された情報では線形層を量子化し、他の部分を精度のまま残すとあります。メモリが実際にどれだけ減るかは、具体的な数字が示されていないため、そこはまだ分かっていません。
開発者が使う時に注意する点は何ですか。
ライセンスは LFM 1.0 です。公開された情報では利用条件の具体的な条文までは示されていないため、詳細な使用範囲については、そこはまだ分かっていません。
最後に、今後この手法は標準になっていきますか。
公開された情報では GPU 推論用として公開されたとあります。今後どのように普及するかは、今後の展開の記述がないため、そこはまだ分かっていません。
出典
この記事のもとになった情報
- Hugging Face:LiquidAI/LFM2.5-24B-A2B-FP8
- 公開日:2026-10-13
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。