Clock Diffusionが可変長生成とキャッシュ対応を両立させ、拡散モデルの品質を向上させた
この記事のポイント
- 連続拡散モデルは可変長生成とキャッシュ対応がなかった
- 位置依存ノイズスケジュールで半自己回帰型拡散言語モデルを提案
- OpenWebTextで最良の拡散尤度境界を達成、GSM8Kでも連続基底を上回る
数字で見る
この記事に出てくる数字
| TinyGSM学習 | GSM8K |
|---|
どこで使えるか
可変長生成とキャッシュ両立のモデルを自前で使いたい人向け arXivで公開済み 推論効率化手法を含む
スポンサーリンク
解説
かみくだいて説明します
Yair Schiffらの研究チームが、2026年10月1日に論文を発表しました。連続拡散モデルでテキストを生成する新しい手法、Clock Diffusionの紹介です。
拡散モデルでテキスト生成ですね。
はい。従来の拡散モデルは文章の長さを固定する必要があり、キーバリューキャッシュという高速化の仕組みにも対応していませんでした。そこで位置依存のノイズスケジュールを導入し、半自律的生成と呼ばれる方式で連続拡散言語モデルを実現しました。
半自律的生成というのは、全部一気に出すんじゃなくて、部分的に出すということですね。
正確には、文脈を追いながら段階的に文章を完成させていく方式です。画像の拡散モデルがノイズから一枚の写真を徐々に作り上げるように、言語モデルも段階的に単語を選びながら文章を仕上げていきます。
段階的に仕上げていくなら、文章の長さも自由になりますね。
その通りです。OpenWebTextで評価したところ、既存のブロック型半自律的生成モデルを凌駕する最良の拡散境界値を記録しました。TinyGSMで学習させたモデルは、GSM8Kベンチマークでも連続拡散の基底モデルを大幅に上回り、半自律的生成モデルと同等かそれ以上の性能を出しています。
では、作る側からすると、いま現場で使われている生成モデルを置き換える話ですか。
はい。確信度を超えたトークンを確定し、自己投機型デコーディングで推論を加速するCache Grabという手法です。これによりモデルの品質と効率をさらに向上させています。
確信度を超えた段階で確定する仕組みは、研究現場で既に使われている手法とどう違うんですか。
Cache Grabは、確率が信頼度の閾値を超えたトークンを確定させる手法と、自己投機型デコーディングという手法を組み合わせて取り入れたサンプラーです。
無駄な計算を減らして速度を出すんですね。
はい。ブロック生成とスライディングウィンドウ生成の二つの特殊ケースを提示していますが、さらに効率的なサンプリラーであるCache Grabを提案し、確信度閾値を超えるトークンをコミットする手法や自己投機的デコーディングを適応させています。
最後に、実用化の見通しはどうなっていますか。
論文では品質と効率の両方が向上する仕組みを示していますが、実用化に向けた具体的なロードマップや、他の手法との比較データについては、そこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
- 公開日:2026-10-01
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。