Orion-26B-A4B-v1.1の量子化モデルが公開。Q4_K_M で 17.97GB、画像と音声の入力に対応。
この記事のポイント
- Orion-26B-A4Bの量子化モデル
- マルチモーダル入力に対応
- Q4_K_Mで17.97GBの容量
どこで使えるか
ローカルでマルチモーダル推論を動かしたい人向け。llama.cpp互換ツールで動作。 Hugging Faceで公開済み
スポンサーリンク
解説
かみくだいて説明します
bartowski が Hugging Face に、9 月 14 日に AI 言語モデル Orion の量子化版を公開しました。推奨サイズの Q4_K_M は 17.97GB です。
17.97GB なら普通のパソコンでも動きますね。画像や音声も扱えるんですか。
はい。画像と音声の入力に対応しています。そのためのマルチモーダル プロジェクターというファイルも、同じリポジトリに f16 と bf16 の 2 種類同梱されています。
マルチモーダル プロジェクターというのは、まだイメージが掴めません。どうなるんですか。
正確には、テキストと画像や音声を結びつける翻訳機のようなものです。テキストだけしか分からなかったモデルに、写真や録音データの意味を伝える役割を果たします。
f16 と bf16 の 2 種類あるのは、用途が違うからですか。
はい。f16 は精度を優先した形で、bf16 は速度とメモリ効率を重視した形です。使う環境の GPU に合わせて選んでください。
なるほど。では、現場で組み込む技術者から見ると、動かすのに何が要りますか。
llama.cpp という実行エンジンの release b10896 以上が必要です。llama.app を使えば一行でインストールでき、llama-server を起動すると、ブラウザのチャット画面がローカルホストの 8080 番ポートで開きます。LM Studio や Jan AI といった別のソフトでも動きます。
一行で入って即座に試せますね。サイズは Q4_K_M 以外にどれくらい用意されていますか。
推奨のQ4_K_M以外に、具体的なファイル名を指定してダウンロードも可能ですよ。
推奨サイズだけで十分なのですね。次のバージョンで何か変わる見込みはありますか。
Orion-26B-A4B-v1.1はllama.cpp release b10896で量子化されています。このリリースは、モデルのアーキテクチャが新たにサポートされた場合に必要となるものです。
出典
この記事のもとになった情報
- Hugging Face:bartowski/TheDrummer_Orion-26B-A4B-v1.1-GGUF
- 公開日:2026-09-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。