NVIDIAのDory1.0-4B、ローカル推論で精度を上げる手法

モデル

NVIDIAのDory1.0-4B、ローカル推論で精度を上げる手法

スポンサーリンク

Dory1.0-4Bが GGUF 版で公開。商用利用も可能。

この記事のポイント

  • NVIDIAが学習した4BパラメータのLLM
  • 共有レイヤを繰り返して推論精度を向上
  • ARM64 Macでローカルサーバーとして動作

数字で見る

この記事に出てくる数字

ループ数 2
APIポート 8080

どこで使えるか

ARM64 Macでローカル推論を組む人向け。Python不要でブラウザUI付きサーバーが立つ Hugging Faceで公開済み ライセンスはother

スポンサーリンク

解説

かみくだいて説明します

nvidiaが2026-10-17に、Dory1.0-4Bという言語モデルを公開しました。このモデルは同じ処理ブロックを何度も繰り返す仕組みで、1つの単語あたりに使える計算量を増やして知能を高める設計です。
同じブロックを繰り返すというのは、要するに何回も考え直すということなんですか?
そうです。長い文章を読んだあと、自分で要約を何回か書き直して誤りを減らす作業に近いです。最初の読み込みで得た情報を、何層かのフィルターに通すたびに精査していくイメージです。
なるほど、書き直しで精度を上げるんですね。では、開発者が実際に組み込む場合、何回繰り返すのが標準になるんですか?
公式の推奨は2回です。2回目の繰り返しで大半の精度向上が得られ、3回目以降は頭打ちになる傾向があります。ファイルサイズは3,673,288,864バイトで、macOSのApple Silicon搭載機でローカルサーバーを立ち上げるだけで動きます。
Pythonの環境も不要で、すぐ動かせるわけですね。では、IntelやRosetta経由のMacでは使えないんですか?
Apple Silicon搭載のmacOSが対象で、IntelやRosetta経由のMacでは使えません。Pythonの環境も不要で、MetalとブラウザUIで動きます。
では、商用で使う場合のライセンス条件はどうなっているんですか?
OpenMDW-1.1というライセンスで、商用利用も非商用利用もどちらも許可されています。ただし、llama.cppでのDory対応は現在、公式リリース前のプルリクエスト段階にあります。
対応がまだ正式リリース前だと、開発者は自分でソースをビルドする必要があるんですか?
はい、現在はその通りです。GitHubで公開されている特定のコミットから自分で組み立てる必要がありますが、アプリケーションプログラミングインターフェースはすでにhttpの8080番ポートで利用可能です。
では、スライドウィンドウAttentionとフルAttentionを交互に使う理由は何なんですか?
スライドウィンドウAttentionとフルAttentionを交互に重ねる構成で、繰り返し使う層に多めの計算をかけて賢さを伸ばします。
最後に、llama.cppの公式リリースはいつ頃見込めるんですか?
具体的な日程はまだ公開されていません。開発者が手元の環境でアプリケーションプログラミングインターフェースを叩ける状態にはなっていますので、まずはローカルでの動作確認を進めていただく形になります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル