JEV-35B-NVFP4が公開。NVFP4 量子化で推論が高速化し、B200 上で 241ms。
この記事のポイント
- NVFP4量子化で推論を高速化
- 40層256エクスパートのMLPを量子化
- B200で241ms、公開はオープンウェイト
数字で見る
この記事に出てくる数字
| レイヤー数 | 40 |
|---|
どこで使えるか
B200で即座に高速化したい人向け。NVFP4量子化で241msを達成 Hugging Faceで公開済み vLLMで直接ロード可能。B200で241ms
スポンサーリンク
解説
かみくだいて説明します
autotrust が 2026 年 10 月 11 日に公開した JEV-35B-NVFP4 は、およそ 0.5 秒で判断を出すモデルです。10,240 個の専門計算パスを NVFP4 という 4 ビット浮動小数点形式に圧縮し、B200 という 1 枚のチップで動かしたときの中央値遅延は 241 ミリ秒です。
圧縮しても精度が保てるんですね!
精度はむしろ上がっています。公開されたテストで 59.75 点をつけ、前のモデル JEV-27B-VL の 53.64 点を上回っています。画像の判定でもおよそ 72 点台で、誤差の範囲内で同水準です。
なるほど!圧縮の仕組みをもう少し詳しく教えていただけますか?
NVFP4 はデータを 16 個ずつのグループに分け、それぞれのグループに 8 ビットの基準値を付けてから 4 ビットに丸めます。本質的には、重たい荷物を軽量の箱に詰め替えるようなもので、中身の比率を保ちながら持ち運びやすくしています。
現場で使う技術者から見ると、組み込むのは簡単ですか?
組み込みは vLLM というツールで、設定ファイルから自動的に読み取れます。特別なフラグを付ける必要はなく、既存の JEV-35B のサーバー設定をそのまま流用できます。
37 個のテストのうち 24 個で上位な理由は何ですか?
System 1 だけを動かす設定にして、最大 256 個の選択肢を一度に読み取る設計になっているからです。140,178 件のリクエストを 0 エラーで処理し、5 つの分野すべてで上位を維持しています。
では、開発元が別組織だと分かれば、比較も明確になりますね!
TypeSafe AI が提供する TypeSafe Jev 1.13 とは別の組織が作った独立したモデルだからです。提携や endorsement はなく、完全に別の製品として位置づけられています。
最後に、実用化の見通しはどうなっていますか?
現在、推奨と検索のデモが Hugging Face 上で公開されており、実環境でのスケーラビリティや長時間運用時の安定性については、そこはまだ分かっていません。
出典
この記事のもとになった情報
- Hugging Face:autotrust/JEV-35B-NVFP4
- 公開日:2026-10-11
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。