Intern-S2-397B を llama.cpp でローカル推論するための GGUF 版

モデル

Intern-S2-397B を llama.cpp でローカル推論するための GGUF 版

スポンサーリンク

Intern-S2-397Bの GGUF 版が llama.cpp 対応で公開。Q4_K_M は 254.58GB。

この記事のポイント

  • 397BパラメータのLLMをローカルで動かす
  • llama.cpp形式のGGUFで量子化して提供
  • Q4_K_Mで254.58GB必要、web UI付き

数字で見る

この記事に出てくる数字

モデルサイズ 397B
Q4_K_M容量 254.58GB

どこで使えるか

397Bモデルをローカルで動かしたい人向け。Q4_K_Mで254.58GB必要 Hugging Faceで公開済み ライセンスはapache-2.0

スポンサーリンク

解説

かみくだいて説明します

bartowski が Hugging Face 上で、Intern-S2-397B という大型言語モデルの量子化版を公開しました。今回は llama.cpp の release b10896 を使って変換しています。推奨される Q4_K_M という形式のファイルサイズは 254.58GB です。
254.58GB というと、手元の環境で動かすにはかなりの容量が必要ですね。開発者がローカルで動かす場合、ファイルの準備は容易ですか。
準備の手間は増えます。ファイルが分割されているため、ダウンロードには Hugging Face のコマンドラインツールが必要です。一度に全部取れるわけではなく、フォルダごとにパーツを並べて読み込む形になります。
コマンドラインツールが必要で、パーツごとに分かれているんですね。では、実際に動かしたときに、モデルが返す答えの精度はどうなりますか。
llama.cppのb10896リリース版を使って量子化されています。Q4_K_Mを選べば、サイズとパフォーマンスのバランスが良いとされています。
推論が重いと答えが崩れる可能性があるんですか。研究で使う場合、どのくらいの規模のタスクなら信頼できる結果が出ますか。
そこはまだ分かっていません。公開されているのは変換の手順とファイルだけで、ベンチマークのテスト結果や、どのタスクでどのくらい精度が落ちるかの数値データは添付されていません。
テスト結果のデータはついていないんですね。では、組み込み側から見ると、このモデルを自分のシステムに組み込むのは容易ですか。
組み込み自体は容易です。llama.cpp に対応している llama.app を使えば、インストールは一行のコマンドで終わります。サーバーを立ち上げると、ブラウザで動くチャット画面がローカルの 8080 番ポートで開きます。
ブラウザで直接チャット画面が開くんですか。プロンプトの書き方は、特別な決まりがありますか。
特別な決まりはありません。公式ページの記述を確認しましたが、プロンプトの形式は見つかりませんでした。使う側で自分で区切りや指示文を準備する必要があります。
指示文は自分で準備する必要があるんですか。最後に、このモデルを公開した意義について、開発者側から何か説明はありますか。
開発者側のコメントは添付されていません。公開されたのは変換ファイルと使い方だけで、今後のアップデートやサポートの予定も、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル