Qwen-Image-2.1-Turbo の生成ステップを減らす手法、画像生成の速度を上げる話

モデル

Qwen-Image-2.1-Turbo の生成ステップを減らす手法、画像生成の速度を上げる話

スポンサーリンク

Qwen-Image-2.1-Turboが公開。8ステップで画像生成でき、Diffusers でそのまま使える。

この記事のポイント

  • テキストから画像生成と編集
  • 8ステップで高速化、7Bアーキ
  • CUDA対応PyTorchとDiffusers

数字で見る

この記事に出てくる数字

推論ステップ数 8
解像度 2048
モデルサイズ 7B

どこで使えるか

Hugging Faceで公開済み Diffusersの特定PR版が必要、ライセンスはother

スポンサーリンク

解説

かみくだいて説明します

Qwenが、テキストから画像を生成したり画像を編集したりするモデル、Qwen-Image-2.1-Turboを出しました。8段階の処理で動くように高速化したCheckpointで、7Bというサイズの画像生成アーキテクチャを使っています。
8段階というのは、現場で使う既存の手法を置き換える話ですか、まだ先の話ですか。
はい。通常のモデルはおよそ20から30段階で画像を仕上げていますが、Turbo版は8段階で済むように設計されています。同じ7Bのアーキテクチャを流用しているため、Diffusersというライブラリ上のQwenImage21Pipelineでそのまま読み込めます。テキストや参考画像の情報を8段階の間で共有するので、計算の無駄が減ります。例えば、絵を描く際に下書きの線を8回なぞる代わりに、一度引いた線を消さずにそのまま色を乗せていくようなイメージです。
読み込みも設定も自動で変わるんですね。手動で調整する手間が省けるのは、組み込む側にとって確かに助かります。
例では2048 × 2048の四角い画像で生成と編集を行っています。処理の段階数を変えたい場合は、保存されたスケジュールを上書きする指定が必要で、単に段階数を増やすだけだと、このモデルに付属のスケジュールが優先されます。
付属のスケジュールが優先されるんですね。段階数を変えられないのは、他の段階数での検証を行っていないからだと分かります。
正確には、他の段階数での検証を行っていないためです。付属のスケジュール以外を試す場合は、段階ごとに重みを調整する数値を直接指定する必要があります。画像のスケッチから写実的な写真に変換する例も公開されています。
写実的な写真への変換は、技術者が見た目で品質を確かめやすいですね。では、このモデルを自分の環境で動かすのに、特別な準備は要りますか。
CUDAに対応したPyTorchのビルドと、最新のDiffusersのソースコードが必要です。Diffusers側には、パイプライン内で段階ごとの数値を指定できる機能が追加されている必要があります。Hugging FaceからCheckpointをダウンロードすれば、スケジューラーの手動設定なしで読み込みが始まります。
手動の設定がいらないのは、組み込む側にとって大きな負担減になりますね。最後に、このTurbo版は通常の2.1版と比べて、生成速度はどれくらい変わるんですか。
通常、速度は7Bの視覚生成アーキテクチャをそのまま使い、8段階のノイズ除去ステップに絞ることで、CFG=1とプレフィックスKVキャッシュの活用もあって、手動設定なしで利用できます。
段階を減らすだけで速くなるのは、組み込む側にとって分かりやすい改善ですね。
他のスケジュールについては、このチェックポイントではまだ評価されていないそうです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル