Qwen3.8-27Bを12.3GBに圧縮するOrcaSAQ2、長期エージェント向け推論

モデル

Qwen3.8-27Bを12.3GBに圧縮するOrcaSAQ2、長期エージェント向け推論

スポンサーリンク

OrcaSAQ2 27Bが Qwen3.8 を 54GB から 12.3GB に圧縮。

この記事のポイント

  • 27Bモデルを12.3GBに圧縮
  • 54GBから4.4倍小型化しPPL+0.02%
  • 262Kコンテキストで動作可能

数字で見る

この記事に出てくる数字

圧縮サイズ 12.3 GB
PPL増加 +0.02%
Top-1一致率 93.2%

どこで使えるか

Hugging Faceで公開済み 27BモデルのためGPUメモリに注意

スポンサーリンク

解説

かみくだいて説明します

orcarouterが2026年9月24日に、AIモデル「OrcaSAQ2 27B」を公開しました。Qwen3.8-27Bを54 GBから12.3 GBに圧縮し、精度の低下はパープレキシティでおよそ0.02%だけです。
54 GBが12.3 GBになるんですか? 技術者から見ると、この圧縮技術はどこが新しいんですか?
正確には3ビットで丸めるだけではありません。専門の「感度対応型混合精度量子化」という仕組みで、モデルの中身を全部同じ割合で小さくするのではなく、重要な部分だけを丁寧に残す形で圧縮しています。荷物を圧縮するのではなく、必要な道具だけを選んで丁寧に梱包するようなものです。
要するに、使うのに必要な部分だけを残して、余計な部分を削るんですね。 そこがまだ掴めません。全部同じ割合で削るのと、どこが違うんですか?
全部同じ割合で削ると、重要な部分も一緒に壊れてしまいます。 感度対応型混合精度量子化は、壊れてはいけない部分には厚めの保護材を敷き、余計な部分だけ薄くするやり方です。 結果として、262Kのコンテキスト長も維持できます。
壊れないように保護しながら小さくするんですね。 262Kのコンテキスト長で、実際にどれくらいの長さの文章が扱えるんですか?
262Kですから、非常に長い文章やコードを一度に処理できます。 コードの生成やツールを呼び出す作業、状態を覚えて実行する長いタスクにも対応しています。
長い文章が一度に扱えるのは大きいです。 93.2%のトップ1合意率って、具体的にどう測ったんですか?
ベンチマークのテストで、元のモデルと圧縮後のモデルが同じ答えを出した割合です。 0.031のKLDという数値でも、分布のズレが非常に小さいことを示しています。
では、元のモデルとほぼ同じ判断をしてくれるんですね。 この技術は一般の研究者にも公開されているんですか?
OrcaRouterのGitHubで公開されています。 組み込み方や学習済みの重みファイルも手元で使える状態です。
手元で動かせるのは開発者にとって助かります。 最後に、今後どのような展開が予想されますか?
3ビットという数字自体が目的ではないと公式も述べています。 今後はより小さいビット数への対応や、他のモデルへの適用が進む可能性があります。 具体的なスケジュールや対応モデルのリストについては、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル