KTransformers v0.7.2 の DeepSeek-V4-Flash LoRA 微調整

ツール・基盤

KTransformers v0.7.2 の DeepSeek-V4-Flash LoRA 微調整

スポンサーリンク

KTransformers v0.7.2が DeepSeek-V4-Flash の LoRA 微調整に対応した。

この記事のポイント

  • DeepSeek-V4-FlashのLoRA微調整がなかった
  • CPUのMXFP4エキスパートとGPUのモジュールで分担
  • LoRA順伝播・逆伝播が可能。BF16拡張は不要

数字で見る

この記事に出てくる数字

Python 3.11, 3.12

どこで使えるか

DeepSeek-V4-FlashのLoRA微調整を自前で組む人向け。BF16拡張なしでCPUとGPUを分担 pipでインストール可能 Linux x86-64限定、ライセンスはApache-2.0

スポンサーリンク

解説

かみくだいて説明します

GitHubの yyj6666667 が 2026-10-15 に公開した KTransformers のバージョン 0.7.2 は、DeepSeek-V4-Flash のチェックポイントに対して LoRA によるファインチューニングを追加しました。
なるほど、専門モジュールと他の部分を分けて動かすんですね。CPU に残すのは、メモリを節約するためなんですか?
はい、その通りです。従来の方法だと専門モジュールの重みを BF16 に拡張する必要がありましたが、バージョン 0.7.2 では MXFP4 のまま直接前方向と後方向の計算ができるようになりました。これにより、余計なデータの変換が行われずに済みます。
では、実務でこのバージョンを使う場合、どの環境に対応しているんですか?
Python の 3.11 と 3.12 に対応した Linux x86-64 向けの wheels が用意されています。学習用と推論用でインストールコマンドが分けられており、学習側には LLaMA-Factory の統合機能が含まれます。
LLaMA-Factory と言えば、学習の枠組みを指しますね。チェックポイントの保存もそのまま行えるんですか?
はい、保存と同時に SGLang によるアダプター推論の連携も可能です。研究面では、勾配ノルム削減の処理を CPU の BF16 で行い、FP32 のテンソルを一旦作らない仕組みに更新しました。これにより、フルファインチューニング時の勾配クリップのオーバーヘッドが減ります。
一旦作らない仕組みというのは、余分なコピーを作らないということですね。論文の更新状況はどうなっていますか?
論文のプレプリントは v1.1 に更新されています。技術的な詳細は公開されていますが、そこまでの計算速度の向上幅や、他のモデルへの適用範囲については、そこはまだ分かっていません。
では、開発者側が次に重視するのは、対応モデルの拡充になりますか?
対応モデルの拡充としては、DeepSeek-V4-FlashへのLoRA微調整が中心です。CPU上のMXFP4ルーテッドエキスパートとGPU上のアテンションモジュールという構成が特徴的です。
最後に、一般の開発者がすぐに試せる状態ですか?
はい、Pythonのpipコマンドでインストール可能です。トレーニング用と推論用で別々のコマンドが用意されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤