24Bパラメータの推論モデル LFM2.5-24B-A2B を GGUF 形式でローカルに導入する話

モデル

24Bパラメータの推論モデル LFM2.5-24B-A2B を GGUF 形式でローカルに導入する話

スポンサーリンク

LFM2.5-24B-A2Bが公開。240億パラメータで20億だけ動く。128Kの文脈に対応。

この記事のポイント

  • 24Bパラメータの推論モデル
  • 128Kコンテキストと強化学習を追加
  • 67ツールでローカル動作可能

数字で見る

この記事に出てくる数字

パラメータ数 24B
アクティブパラメータ 2B
コンテキストウィンドウ 128K

どこで使えるか

ローカルで推論エージェントを組む人向け。128Kコンテキストと67ツールに対応 Hugging Faceで公開済み GGUF形式。デスクトップエージェント用途

スポンサーリンク

解説

かみくだいて説明します

unslothが十月十三日に公開したLFM2.5-24B-A2Bというモデルが、オンデバイスで動くエージェント向けに最適化されています。全体のパラメータ数は24Bですが、実際に動くのは2Bだけで、128Kの長い文章も処理できます。
全体は大きくて、実際に使う部分は小さいんですね。これはどのくらい速くなるんですか?
公式のベンチマークでは、同じ規模の他の量子化モデルを大きく上回る精度を出しています。特にUnsloth Dynamic 3.0という圧縮手法を使っているため、モデルの重みを小さく切り詰めても、答えの正確さが落ちにくい構造になっています。
重みを小さく切り詰めても正確さが保てるというのは、中身が詰まっているからですか。
正確には、必要な部分だけ呼び出す仕組みです。例えば辞書を引くとき、毎回辞典全体を持ち運ぶのではなく、必要なページだけをポケットに入れるようなイメージです。計算資源を2B分に集中できるため、処理が速くなります。
なるほど、辞書のポケット版ですね。データが外に出ないというのは、具体的にどう守っているんですか。
クラウドを使わず、APIキーも必要ありません。公式で公開しているデスクトップエージェント、LocalCoworkのデモでは、ノートパソコン一台で13種類のサーバーに接続された67個のツールを動かしています。すべてのデータは機械の中だけで完結します。
67個ものツールを、クラウドなしで動かせるとは驚きです。その分、使う側の準備はどれくらい大変ですか。
設定は比較的簡単です。メッセージの形式にChatMLという規格に近い形を使うため、既存のツールを組み合わせるだけで自動整形できます。専門的なコードを書かなくても、組み込み関数の呼び出しを4つのステップで対応しています。
組み込み関数の呼び出しというのは、具体的にどのような作業を指すんですか。そこがまだ掴めません。
外部のサービスやツールを、モデルが直接操作する仕組みです。例えば天気予報を調べたり、カレンダーに予定を入れたりする指示を、モデルが自動的に文章にして送ります。開発者が一つずつ手動でつなぐ必要がなくなります。
開発者が手動でつなぐ手間がなくなるんですね。最後に、このモデルはどのような場面で特に力を発揮するんですか。
複雑な判断を必要とし、データを外に出したくない環境向けです。ただし、テキストだけの処理に限定されるため、画像や音声の解析には使えません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル