KTransformers 0.7.0.post4が Kimi K2.5 向け LoRA 学習と SGLang アダプタ読み込みに対応。
この記事のポイント
- LoRA学習の環境が限定的だった
- 5つのコアパッケージをPyPI公開
- GPUやモデルは未検証が条件
数字で見る
この記事に出てくる数字
| GPU数 | 8 RTX 5090 |
|---|
どこで使えるか
Kimi K2.5のLoRA学習環境を自前で用意したい人向け。PyPI公開で導入が容易に PyPIで公開済み ライセンスはApache-2.0
スポンサーリンク
解説
かみくだいて説明します
yyj6666667がGitHubで公開したKTransformers 0.7.0.post4は、Kimi K2.5のテキストモデルをLoRAで学習する環境の更新です。8枚のRTX 5090を搭載した環境で動作確認が完了し、学習の途中から再開できるチェックポイントや、SGLangアダプターの読み込みに対応しています。
8枚のRTX 5090で動かすんですか。現場で使う技術者は、いままでのやり方と比べて何が楽になるんですか。
前回までの環境ではアダプターを別々に読み込むと重さが合わなくなることがありましたが、今回のSGLangアダプター対応で、学習済みの部品をそのまま組み合わせて推論できるようになります。SGLangアダプターというのは、辞書を引きながら文章を書く時に専門用語だけ別冊の辞書で調べられる仕組みです。Linuxのx86_64環境で、glibc 2.35以上、Python 3.12、CUDA 12.8、Torch 2.9.1が条件です。
別冊の辞書で調べるイメージなんですね。学習の途中から再開できるのは、どのくらいの規模のモデルまで対応しているんですか。
確認済みの範囲では、Qwen3-30B-A3BやDeepSeek-V3.1、GLM next-0808のテキスト推論が動いています。ただし、GPUやCPUの未対応アーキテクチャ、従来のGLMビジョンモデル、そしてすべてのシーケンス長については保証していないので、そこはまだ分かっていません。
Qwen3やDeepSeekも動くんですか。学習済みスタイルを覚えたNekoというチェックポイントについて、厳格な出力形式のチェックが2つ失敗したとありますが、それはどういう意味ですか。
学習では特定の話し方や文体を真似できるようになったが、決まった形式で答えを出力するルールにはまだ従えていないということです。スタイルの実験データとして公開されているだけで、品質や安全性を保証するものではありません。
文体だけを真似る実験データなんですね。では、開発側が公開した追加のファイルについて、どうやって確認すればいいんですか。
公開された5つのコアパッケージはすべてPyPIにあり、ktransformersとkt-kernel、sglang-ktが0.7.0.post4、transformers-ktが5.6.0.post5、accelerate-ktが1.14.0.post3です。公開されたパッケージのSHA256値は、テスト済みの原本と一致しています。
全部PyPIにあるんですか。独立したメインリビルドとPyPIでの動作検証は、もう完了しているんですか。
どちらも現在進行中です。公開しただけでは、それらの追加検証が通過したわけではないので、技術者は各自で環境を構築して確認する必要があります。
自分で確認する必要があるんですね。最後に、このバージョンを使って実務に組み込む場合、一番気をつけるべき点はどこですか。
動作確認が完了しているのはLinuxのx86_64環境だけで、WindowsやARM環境、そしてVisionモデルの動作については、そこはまだ分かっていません。実務に組み込む場合は、まず自身のGPU環境とモデルの組み合わせが、確認済みの条件に合うかどうかを最初に確認してください。
出典
この記事のもとになった情報
- GitHub:KTransformers v0.7.0.post4
- 公開日:2026-09-13
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。