Unslothが複数チャットで最大 10 倍高速化。ブラウザ操作と動画生成に対応。
この記事のポイント
- 複数チャットで最大10倍速く
- バッチ分割で起動データとメモリを減らす
- 複数チャットで最大10倍高速
数字で見る
この記事に出てくる数字
| 推論速度向上 | up to 5x |
|---|---|
| キャッシュヒット率 | 95% |
| 対応フォーマット | 3× |
どこで使えるか
ブラウザ操作や動画生成をローカルで試したい人向け。 GitHubリリースページで公開済み Windows ARM64対応、GPU要件あり
スポンサーリンク
解説
かみくだいて説明します
GitHub で shimmyshimmer が 2026年10月14日に公開した Unsloth のアップデートで、複数チャットの処理速度が最大 10倍、推論速度が最大 5倍に向上しました。キャッシュの命中率は 95% に達し、Qwen3.5 や Qwen3.6 といったモデルの事前読み込みが速くなります。
10倍も速くなるんですか。推論速度が上がると、実際にモデルを動かす側の手間はどれくらい変わるんですか?
重い処理の待ち時間が大幅に減ります。95% のキャッシュ命中率というのは、前回の計算結果をほぼそのまま再利用している状態で、同じデータを何度も読み直さなくて済むという意味です。開発者が同じプロンプトを連続で投げたときの体感速度が、最大5倍になる見込みです。
なるほど、前回と同じ計算を飛ばすんですね。Qwen3.5 などの事前読み込みが速くなるのは、具体的にどの部分が変わったんですか?
事前読み込みと推論の間に、speculative decoding という仕組みを導入しました。これはモデルが答えを一つずつ出す前に、まず大まかな流れを素早く予想し、その予想と実際の計算を並行で回すことで、無駄な待ち時間を削る方法です。下書きと精査を同時に回すイメージです。
下書きと精査を同時に回す、ですか。そこがまだ掴めません。なぜ従来の方法より速くなるんですか?
従来の方法は答えを一つずつ順番に作りますが、この仕組みは複数の候補を一度に並列で処理します。例えば翻訳で、最初に大枠の文を 3つ同時に作り、その中から最も自然なものを後から選ぶ形です。並列処理が増える分、同じ時間あたりに処理できる文字数が増えます。
大枠を並列で作って、後から選ぶんですね。画像や動画の生成にも関係するんですか?
関係します。LTX-2.5 と Wan2.2 を使ってテキストや静止画から動画を作り、音声も同期させられるようになりました。画像の LoRA 学習では FP8 と MXFP8 という精度でメモリ使用量を減らし、NVIDIA の Ada や Hopper、Blackwell 世代の GPU で動きます。
FP8 というのは、計算の精度を落としてメモリを節約する話ですか。精度を落とすと、生成される画像の画質はどう変わるんですか?
FP8は8ビットで計算し、メモリを節約します。画質については、要旨に具体的な記述はありません。GPUのメモリ使用量を減らし、より大きなモデルを扱えるようになります。
半分になるなら、手持ちの GPU で大きいモデルが試せますね。ブラウザ操作の自動化は、開発者がスクリプトを書く手間を減らす方向ですか。
開発者の手間を減らす方向です。モデルが画面上の要素をクリックしたり、マウスを動かしたり、ドラッグしたりできるようになります。スクリプトの実行は毎回承認が必要ですが、信頼できるサイトには常に許可するルールも設定できます。
毎回承認が必要なのは、セキュリティ上の懸念があるからですか。
その通りです。悪意のあるサイトが裏でスクリプトを走らせるリスクを避けるため、ユーザーが明示的に許可する仕組みにしています。設定で常に許可か毎回確認かを選べるようになっています。
最後に、今回のアップデートでまだ解決していない課題はありますか。
Intel XPUとCUDA/PyTorchの修正は行いましたが、一部の設定ではまだ安定しない場合があります。今後のバージョンで対応を進めますが、そこはまだ分かっていません。
出典
この記事のもとになった情報
- GitHub:Large Performance Gains + More Browser Use
- 公開日:2026-10-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。