Dory1.0 4B のループ数とキャッシュ設定、推論コストと精度のバランスを取る話

モデル

Dory1.0 4B のループ数とキャッシュ設定、推論コストと精度のバランスを取る話

スポンサーリンク

Dory1.0 4Bが公開。商用利用も可能で、ループ数とキャッシュ設定で精度とコストのバランスが取れる。

この記事のポイント

  • NVIDIAの4B言語モデル
  • レイヤー共有で推論効率化
  • 256Kトークン対応の商用利用可

数字で見る

この記事に出てくる数字

パラメータ数 4B
検証コンテキスト 256K
推奨ループ数 2

どこで使えるか

推論コストを抑えつつ精度を上げたい人向け。ループ数とキャッシュ設定で調整可能 Hugging Faceで公開済み vLLM対応はPR段階。ループ数で精度・速度が変動

スポンサーリンク

解説

かみくだいて説明します

nvidiaが2026-10-17にHugging Faceへ公開したNVIDIA-Nemotron-Labs-Dory1.0-4B-BF16は、同じ層のブロックを繰り返して使う言語モデルです。1つの言葉あたりにより多くの計算量を使えるため知能を伸ばせ、OpenMDW-1.1のライセンスで商用・非商用どちらでも使えます。
層を繰り返すんですか? 計算量はどう変わるんですか?
はい。繰り返す回数によって変わります。基本は2回で、精度と計算量のバランスが良いです。計算量を最小限にしたい時は1回、Terminal-BenchやSWE-benchのようなエージェント作業で精度を優先するなら4回まで上げられます。
なるほど。では、メモリは回数を増やすほど必要になるんですか?
通常の使い方ではそうです。1回ごとに別のキャッシュを保存するからです。ただ、last-loopキャッシュというモードを有効にすれば、最後の回だけキャッシュを保持するので、回数を増やしてもメモリは1回分の大きさのままです。実験では精度もほぼ変わらなかったと報告されています。
なるほど。では、vLLMでの対応はいつ頃になるんですか?
現在、vllm-projectのプルリクエスト60149で審査中です。正式なリリースに含まれるまでは、その版からインストールする必要があります。環境変数にVLLM_USE_PRECOMPILED=1を設定すれば、ローカルでのCUDAコンパイルを飛ばして使えるようになります。
256Kトークンの対応は確認済みなんですね。では、専門用語のスライディングウィンドウ・アテンションとフルアテンションを交互に使う意味は、現場の技術者にとってどう違うんですか?
長い文章の先頭と末尾を同時に処理する仕組みです。スライディングウィンドウは直近の範囲だけをなめるので計算が軽く、フルアテンションは全体を正確に見ます。両方混ぜることで、長い文脈を扱いながら、処理速度を落とさないようにしています。
確かに。では、自分で組み込む技術者にとって、手元で動かすのに何が要るんですか?
256Kトークンのコンテキスト長に対応しています。vLLMの公式リリースを待たずに動かす場合は、審査中の版のインストールと環境変数の設定が必要です。vLLMの正式版にいつ含まれるかは、そこはまだ分かっていません。
確かに。最後に、実務で使う側にとって、いま困っていることのどれが最も減りますか?
長い文章を扱う際のメモリ不足と、精度と速度のトレードオフです。last-loopキャッシュを使えばメモリを節約でき、ループ回数を調整すれば用途に合わせて精度を上げられます。正式版のvLLM対応を待ちながら、エージェント作業や長文処理の現場で試されることになります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル