LFM2.5-VL-3B-DSpark、視覚言語モデルの推論を速くする話

モデル

LFM2.5-VL-3B-DSpark、視覚言語モデルの推論を速くする話

スポンサーリンク

LFM2.5-VL-3B-DSparkが公開。H100で最大2.66倍、M5 Maxで最大3.13倍に推論が速くなる。

この記事のポイント

  • 3Bモデルの推論を高速化
  • DSparkでH100で2.66倍速
  • Apple siliconでも加速

数字で見る

この記事に出てくる数字

H100加速倍率 2.66倍
M5 Max加速倍率 3.13倍
M3 Ultra加速倍率 2.14倍

どこで使えるか

推論コストを抑えたい人向け。出力品質を落とさず速度を上げられる Hugging Faceで公開済み Apple siliconはblock size 8

スポンサーリンク

解説

かみくだいて説明します

LiquidAIが 2026年 9月 18日に公開した LFM2.5-VL-3B-DSparkは、画像と文章を扱うモデルの処理を速くする実験的なドラフトモデルです。単体の H100で最大 2.66倍、Appleの M5 Maxで最大 3.13倍、M3 Ultraで最大 2.14倍の高速化を確認しています。
処理を速くするドラフトモデルなんですね。これは作る人から見ると、いま現場で使われているやり方を置き換える話ですか、まだ先の話ですか。
現場で使える形です。対象となる LFM2.5-VL-3Bとセットで使うことで、生成される文章そのものは変えずに速度だけ上げられます。温度を 0にすれば完全に一致し、温度を上げる設定でも元のモデルが持つ出力の分布をそのまま保ちます。
元のモデルが持つ出力の分布をそのまま保つ、つまり中身は同じまま速くなるということですね。動かすのに何が要りますか。
対応するランタイムが必要です。SGLangで H100を使う場合、あるいは MLX-VLMで M5 Max、llama.cppで M3 Ultraを使う場合に測定されています。メモリへの追加負荷は最小限です。
評価は MMSpecに準拠しているんですか。どこを測った結果ですか。
評価項目は汎用 VQA、テキスト VQA、画像キャプション、チャート VQA、複雑な推論、多ターン会話の 6つです。ドラフトトークンの承認数を一括りで示していますが、実際の速度向上はハードウェアとランタイムのオーバーヘッドにも左右されます。
汎用 VQAから多ターン会話まで 6つの項目で測っているんですね。使っている人から見ると、いま困っていることのどれが減りますか。
画像と文章を同時に処理する際の待ち時間が減ります。ドラフトモデルが次のトークンを先読みして、対象モデルが一度に複数のトークンを検証する仕組みですから、同じ精度で応答が早くなります。
先読みして一度に複数のトークンを検証する、つまりリレーのバトン渡しを一度に何本も受け取る感じなんですね。Appleのチップではブロックサイズが 8になるんですか。
はい。Apple siliconではブロックサイズ 8で動作します。それ以外のプラットフォームでは 9です。対応するドラフトモデルのチェックポイントと対象モデルを必ずペアで使う必要があります。
では、精度のベンチマークはどこで見られますか。
LFM2.5-VL-3Bのページに品質のベンチマークがまとめられています。ドラフトモデル単体では速度の向上が主目的ですから、精度そのものの数値は対象モデルのページをご確認ください。
最後に、今後の展開はどうなりますか。
まだ実験段階のモデルですが、H100のSGLangで最大2.66倍、M5 MaxのMLX-VLMで最大3.13倍、M3 Ultraのllama.cppで最大2.14倍速くなったそうで、伸び方はハードやランタイムでも変わるみたいです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル