Orion-26B-A4B-v1.1 の量子化モデルを llama.cpp で動かす話

モデル

Orion-26B-A4B-v1.1 の量子化モデルを llama.cpp で動かす話

スポンサーリンク

Orion-26B-A4B-v1.1の量子化モデルが公開。Q4_K_M で 17.97GB、画像と音声の入力に対応。

この記事のポイント

  • Orion-26B-A4Bの量子化モデル
  • マルチモーダル入力に対応
  • Q4_K_Mで17.97GBの容量

どこで使えるか

ローカルでマルチモーダル推論を動かしたい人向け。llama.cpp互換ツールで動作。 Hugging Faceで公開済み

スポンサーリンク

解説

かみくだいて説明します

bartowski が Hugging Face に、9 月 14 日に AI 言語モデル Orion の量子化版を公開しました。推奨サイズの Q4_K_M は 17.97GB です。
17.97GB なら普通のパソコンでも動きますね。画像や音声も扱えるんですか。
はい。画像と音声の入力に対応しています。そのためのマルチモーダル プロジェクターというファイルも、同じリポジトリに f16 と bf16 の 2 種類同梱されています。
マルチモーダル プロジェクターというのは、まだイメージが掴めません。どうなるんですか。
正確には、テキストと画像や音声を結びつける翻訳機のようなものです。テキストだけしか分からなかったモデルに、写真や録音データの意味を伝える役割を果たします。
f16 と bf16 の 2 種類あるのは、用途が違うからですか。
はい。f16 は精度を優先した形で、bf16 は速度とメモリ効率を重視した形です。使う環境の GPU に合わせて選んでください。
なるほど。では、現場で組み込む技術者から見ると、動かすのに何が要りますか。
llama.cpp という実行エンジンの release b10896 以上が必要です。llama.app を使えば一行でインストールでき、llama-server を起動すると、ブラウザのチャット画面がローカルホストの 8080 番ポートで開きます。LM Studio や Jan AI といった別のソフトでも動きます。
一行で入って即座に試せますね。サイズは Q4_K_M 以外にどれくらい用意されていますか。
推奨のQ4_K_M以外に、具体的なファイル名を指定してダウンロードも可能ですよ。
推奨サイズだけで十分なのですね。次のバージョンで何か変わる見込みはありますか。
Orion-26B-A4B-v1.1はllama.cpp release b10896で量子化されています。このリリースは、モデルのアーキテクチャが新たにサポートされた場合に必要となるものです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル